注意力机制与特征融合的完美融合，准确率飙升至顶峰，性能全面提升
注意力机制与特征融合的完美融合，准确率飙升至顶峰，性能全面提升
交叉注意力机制是一种让模型在处理一种数据时能够参考另一种数据的方法，它在多模态学习中尤为重要。特征融合则是将不同来源或不同层次的特征结合起来，以获得更丰富的信息。将两者结合，可以使得模型在处理多模态数据时更加有效地利用不同模态间的互补信息，提升模型的性能和泛化能力。具体来说，交叉注意力机制可以帮助模型识别不同模态间的重要关联，而特征融合则将这些关联转化为更加综合的特征表示，从而在图像识别、语音识别等任务中取得更好的效果。
多模态交叉注意力网络用于图像和句子匹配
方法：提出了一种新颖的交叉注意力机制，能够同时利用模态内关系和模态间关系，以增强图像和句子匹配的效果。通过统一的深度模型联合建模图像区域和句子单词的模态内和模态间关系。设计了两个有效的注意力模块，分别用于模态内关系和模态间关系的建模。使用Transformer单元处理图像区域特征，使用BERT模型处理句子单词特征，以发现模态内关系。
创新点：首次提出一种联合建模模态内和模态间关系的网络，以提高图像和句子匹配的准确性。提出了一种新颖的交叉注意力模块，能够同时利用模态内和模态间关系，为图像和句子匹配提供补充和增强。在Flickr30K和MS-COCO两个标准基准测试中，所提出的模型性能优于现有的图像和句子匹配方法。通过联合建模两种模态内的关系和两种模态间的关系，提高了图像区域和句子单词片段特征的区分能力。
CAFF-DINO：多光谱目标检测变换器与交叉注意力特征融合
- 方法：提出了一种基于交叉注意力机制的特征融合方法，用于多光谱目标检测。结合了现代变换器基础检测器，以提高目标检测性能。在红外-可见光多光谱数据集上测试了提出方法的性能，并研究了对系统性错位的鲁棒性。提出的方法是通用的，可以快速实现在大多数单谱变换器基础检测器上。
- 创新点：首次将交叉注意力操作引入红外-可见光图像对融合领域，提高了特征提取的关联性。研究了模型对图像对系统性错位的鲁棒性，为实际应用中的对齐误差问题提供了解决方案。在多个公共数据集上，所提出的CAFF-DINO模型超越了现有的最先进方法，显示出优越的目标检测性能。模型泛化性：证明了模型可以泛化到任何单谱变换器基础检测器，增加了模型的适用性和灵活性。
多尺度多视图视觉变换器
方法：模型对输入信号的不同视图进行编码，并构建多个通道分辨率特征阶段，以并行处理不同分辨率的输入视图。在每个尺度阶段使用跨注意力块来融合不同视图之间的信息。通过增加通道大小和降低空间分辨率来生成高维复杂特征，随着网络深度的增加。
创新点：通过并行处理多个视图的不同分辨率输入，增强了模型在表示学习中的能力和整体性能。在每个尺度阶段引入跨注意力层，改进了原始MViT模型，使其能够从多个视图中合并信息。证明了MMViT模型在音频和图像分类任务中的有效性，并在多个领域达到最先进的结果。
用于点云分割的场景级监督的2D-3D交错变换器
方法：提出了一个包含两个编码器和一个解码器的变换器模型，用于仅使用场景级类别标签的弱监督点云分割。在解码器层中交替切换查询和键值对的角色，实现2D和3D特征的隐式融合。使用多类别令牌匹配类别级注释，并开发对比损失以对齐模态间的类别令牌。
创新点：首次尝试在仅给定3D场景的场景级类别标签下融合2D和3D特征。通过交错注意力机制隐式融合2D和3D数据，不依赖于相机姿态信息。为了对齐模态间的类别令牌，开发了对比损失，提高了模型在大规模ScanNet和S3DIS基准测试中的性能。