多模态学习新突破：PCAG融合方法详解

多模态学习新突破：PCAG融合方法详解

多模态学习是人工智能领域的一个重要研究方向，它旨在让机器能够理解和处理来自不同模态（如文本、图像、音频等）的信息。最近，一篇发表在2024年的论文《Pre-gating and Contextual Attention Gate — A new fusion method for multi-modal data tasks》提出了一种新的多模态数据融合方法，即PCAG（Pre-gating and Contextual Attention Gate），以解决现有跨模态交互学习中的噪声问题和不确定性问题。

PCAG的核心机制

PCAG包含两个关键机制：Pre-gating和Contextual Attention Gate (CAG)。

• Pre-gating：预门控机制，是在应用跨模态注意力之前使用的一个机制，用于在计算注意力分数之前通过预期机制，减轻噪声交互的影响、过滤掉无用的交互、筛选出对下游任务有用的交互，提高注意力分数的生成质量。

• Contextual Attention Gate (CAG)：上下文注意力门，利用上下文信息来减少由跨注意力交互生成的注意力向量与原始上下文信息不相关这种不确定性情况，增强分类性能。例如若注意力向量与原始上下文信息不相关，则减少其对下游任务的影响。

CAG（Contextual Attention Gate）与现有的最先进带门控的跨注意力机制（the CAG and the state-of-the-art gated cross-attention mechanisms (Jiang et al., 2020; Kumar & Vepa, 2020)）的区别：

• 激活函数的使用：现有方法通常使用sigmoid激活函数，而CAG可能使用ReLU等其他激活函数，这些函数有助于在特征空间中保持信息的动态范围。
• 学习E和G的方式：现有方法基于查询Q和注意力向量α的组合来计算，而CAG只利用跨模态信息来学习E，目的是确定哪些部分的信息应该保留。

PCAG模块的工作原理

PCAG模块的工作原理可以分为三个阶段：

1. 阶段1 - Pre-gating：在跨模态交互之前，PCAG模块首先应用预门控机制。这一阶段，模型评估不同模态特征之间的潜在交互，并决定哪些交互是有价值的。这有助于在交互发生之前就减少噪声。

2. 阶段2 -跨模态交互：在预门控之后，模型进行跨模态交互，生成初步的注意力向量。

3. 阶段3 - CAG应用：一旦得到注意力向量，CAG机制就会介入。CAG利用上下文信息来评估每个注意力向量的相关性，并据此调整它们的权重。如果发现某个向量与上下文不匹配，CAG会降低其重要性，从而减少对最终结果的影响。

实验设计与结果

实验在八个多模态分类任务上进行，覆盖了不同的领域，如社交媒体文本和图像的情感分析、音频和图像的手写数字识别、医疗数据的死亡率预测等，采用了RoBERTa和Vision Transformer等预训练模型来提取特征，并在这些特征上应用PCAG模块。

实验结果显示，PCAG模型在多个数据集上的性能均优于现有的多模态融合模型。例如，在Crisismmd数据集上，PCAG模型的准确率（ACC）达到了90.16%，加权F1分数（W-F1）为90.08%，宏观F1分数（M-F1）为88.67%，相较于其他模型有显著提升。

可视化展示

展示了使用Crisismmd2数据集时，PCAG（Pre-gating and Contextual Attention Gate）、Pre-gating、CAG以及传统跨注意力模型的注意力分数的可视化。

• 坐标轴：垂直轴（y轴）代表图像特征，水平轴（x轴）代表文本标记（tokens）。

• 每一行：代表了一个图像特征（由Vision Transformer，ViT生成）与所有文本标记之间的交互。

• 颜色深浅：颜色越浅表示注意力分数越高，颜色越深表示注意力分数接近零。白色表示注意力分数大于0.2。

• PCAG：展示出平衡的注意力分数分布，其中Pre-gating和CAG的结合使得模型能够选择性地关注对任务最有用的交互。

• Pre-gating：展示出较为集中的高注意力分数区域，表明Pre-gating机制集中过滤并强化了与下游任务相关的特定交互。

• CAG：展示出不同的注意力分数分布，其中CAG专注于减少与查询不相关的交互，可能在某些区域显示出高注意力分数，而在其他区域则降低。

• 传统跨注意力：展示出较为分散的高注意力分数，表明传统方法在没有特定过滤机制的情况下，对所有可能的模态交互给予了较高的注意力。

结论

上图的可视化提供了对不同模型如何处理和分配跨模态交互注意力的直观理解。PCAG模型通过结合Pre-gating和CAG机制，能够更加精确地识别和强化与任务相关的特征交互，同时减少噪声和不相关交互的影响。这种可视化有助于理解不同模型在实际数据上的表现，并为进一步优化模型提供指导。

心得

1. 一种新颖的多模态数据融合方法，特别是PCAG模块如何通过Pre-gating和CAG机制有效地减少噪声和不确定性，提高模型性能。为设计后续改进型多模态学习模型时提供了新的视角。
2. 需要补充多模态学习的基础理论、研读论文提到的一些既往融合方法论文。
3. 需进一步挖掘论文提到的注意力机制和门控网络的工作原理。