书生大模型进阶岛第四关InternVL 多模态模型部署微调实践

书生大模型进阶岛第四关InternVL 多模态模型部署微调实践

引用

CSDN

1.

https://m.blog.csdn.net/qq_75269600/article/details/143782493

多模态大模型是当前AI领域的前沿技术之一，它通过融合文本、图像、音频等多种数据类型，实现了更智能的信息处理能力。本文将介绍多模态大模型的基本概念、工作原理，并以InternVL2为例，详细展示其模型架构和训练流程，最后通过实践演示如何对InternVL2进行微调。

一、多模态大模型的基本概念

多模态大模型是一种基于深度学习的机器学习技术，其核心思想是将不同媒体数据（如文本、图像、音频和视频等）进行融合，通过学习不同模态之间的关联，实现更加智能化的信息处理。这种模型不仅可以理解文本、图像、音频和视频等单一模态的信息，还可以跨模态地理解它们之间的关系，从而实现更加全面和准确的信息处理。

二、多模态大模型的工作原理

1. 数据预处理：为了充分利用多种数据来源，需要对各类数据进行预处理。例如，文本数据需要进行分词、词向量化等处理操作，图像数据需要进行尺寸标准化、特征提取等操作。
2. 多模态融合：将处理过的各种数据进行融合，使得不同类型的数据能够相互影响，从而提高模型的预测准确率。融合方式可以采用串联、并联、交织等方式，具体取决于模型的架构设计和任务需求。
3. 大模型训练：在多模态数据融合的基础上，利用深度学习技术构建大规模神经网络模型进行训练。该模型通常包括多个层次，每层次都有不同的功能，如卷积层、池化层、全连接层等。通过大规模的无监督学习，可以使模型在多种任务上达到优秀的性能。
4. 模型优化：利用反向传播算法对模型进行优化调整，以提高模型的预测准确率。同时，为避免过拟合，还需引入正则化等技术。

三、多模态大模型的设计模式

多模态大模型的设计模式主要关注于如何有效地融合不同模态的数据，以及如何在模型的各个层次中实现这种融合。以下是一些常见的设计模式：

1. 内部融合范式

• Type A：采用标准的cross-attention机制，通过计算不同模态特征之间的注意力权重，实现特征对齐与融合。
• Type B：使用自定义的融合层，如多模态Transformer、多模态注意力等，通过显式地建模模态交互来实现更深层次的融合。

2. 早期融合范式

• Type C：在模型的输入阶段就对不同模态数据进行融合。使用模态特定的编码器，如CNN、RNN等，将每种模态数据编码为统一的向量表示后再输入模型。
• Type D：引入分词器，将图像、音频等连续信号转换为离散的token序列，实现了与文本模态的统一表示。这种方式简化了模型的输入接口，减少了模态间的信息损失。

四、多模态大模型的应用前景

多模态大模型具有广泛的应用前景，包括但不限于自然语言处理、图像识别、语音识别等领域。它可以处理文本数据，并与其他模态的数据进行联合训练，从而更准确地理解人类语言；可以通过学习图像中的特征，并结合其他模态的信息，提高图像识别的准确率；还可以借助先进的语音识别技术，捕捉语音信息，并将其转化为可执行的指令。

综上所述，多模态大模型通过融合不同模态的数据，并利用深度学习技术进行训练和优化，实现了跨模态的信息处理和理解。其常见的设计模式包括内部融合范式和早期融合范式等，这些模式在不同的应用场景和任务需求中具有各自的优势和适用性。

InternVL2模型详解

InternVL2是一款由上海人工智能实验室OpenGVLab发布的多模态大模型，其设计模式和模型架构以及训练流程都体现了多模态融合和深度学习的先进理念。以下是对InternVL2的模型架构和训练流程的大概描述：

一、模型架构

InternVL2的模型架构主要由两个核心部分组成：视觉模型和语言模型。这两个模型通过特定的对齐和融合策略紧密地结合在一起，形成了一个真正的多模态模型。

1. 视觉模型：负责处理图片信息，识别和理解图片中的内容。它通常基于先进的卷积神经网络（CNN）或Transformer架构，能够提取图像的特征并进行有效的表示。
2. 语言模型：负责处理文本信息，理解人类的语言。它可能是一个大型的预训练语言模型，如基于Transformer的架构，能够捕捉文本中的语义和上下文信息。

在InternVL2中，视觉模型和语言模型通过某种方式（如对齐策略）结合在一起，形成一个能够同时处理图片和文本信息的强大模型。这种结合使得模型能够同时利用视觉和文本信息，从而在多模态任务（如图像标注、视觉问答等）中表现出色。

二、训练流程

InternVL2的训练流程通常包括以下几个阶段：

1. 预训练

• 视觉模型：通过识别大量的图片来学习如何识别物体和场景。
• 语言模型：通过理解大量的文本来学习如何理解语言和生成文本。

2. 对齐训练

• 在这一阶段，模型会进行对齐训练，确保视觉模型和语言模型在处理相同或相似的任务时表现一致。例如，当视觉模型识别出一张图片中的某个物体时，语言模型能够给出相应的描述。

3. 生成学习

• 在对齐训练之后，模型会进行生成学习。这一步骤让模型能够根据已有的信息生成新的内容。例如，当视觉模型识别出一张图片时，语言模型能够生成描述这张图片的文字。

4. 微调

• 根据特定的任务或数据集，对模型进行微调以进一步提高性能。

在训练过程中，InternVL2会使用大量的多模态数据（如图像和文本对）进行训练，并通过优化算法（如梯度下降）来更新模型的参数。此外，为了提高模型的泛化能力和鲁棒性，还会采用数据增强、正则化等技术。

三、特点与优势

InternVL2作为多模态大模型，具有以下特点和优势：

1. 强大的多模态理解能力：通过结合视觉模型和语言模型，InternVL2能够同时处理和理解来自不同模态的信息，从而在多模态任务中表现出色。
2. 高效的特征对齐和融合策略：InternVL2采用了先进的对齐和融合策略，确保视觉模型和语言模型在处理相同或相似的任务时表现一致，并能够有效地融合不同模态的特征。
3. 可扩展性和灵活性：InternVL2的架构和设计使其具有良好的可扩展性和灵活性，可以适应不同的任务和数据集。

实操：如何微调InternVL多模态模型

第一步：部署没有微调前的InternVL多模态模型

1. 使用python3.10创建一个虚拟环境，并且安装lmdeploy gradio==4.44.1 timm==1.0.9这两个库
2. 然后使用git clone拉取Github的代码仓库
3. 然后进入InternVL2-Tutorial文件，运行demo.py这个文件

然后开始体验InternVL2多模态模型，上传了一张酸汤鱼的照片在没有微调前。模型识别成韩国石锅拌饭。

如果你出现了这个错误
你可以尝试在VScode本地自动映射的端口访问。我直接用终端的网址访问有连接问题，无法使用。使用VScode的端口连接就可以使用了。

第二步：使用Xtuner微调

1. 创造一个新的虚拟环境，并且激活。下载torch，torchaudio，transformers，timm库
2. 进入InternVL2-Tutorial文件夹，并使用Xtuner进行微调。
3. 使用Xtuner进行模型checkpoint的格式转化为便于测试的格式。
4. 返回demo.py文件，把其中的模型地址，修改成转换成测试格式后的模型，并且运行这个python文件。在做这一步时，一定要切换回原来部署模型的虚拟环境！！！

然后我们开始体验微调过后的多模态模型，可以看出已经可以识别出这是酸汤鱼了。也可以识别出锅包肉了。