最新自适应特征融合策略综述：11种创新方案详解

最新自适应特征融合策略综述：11种创新方案详解

引用

CSDN

1.

https://blog.csdn.net/weixin_42645636/article/details/139182164

自适应特征融合是一种高效的数据处理方法，通过动态选择和整合来自不同层次或尺度的特征信息，不仅显著提升了模型性能，还优化了特征的使用效率。本文综述了11种最新的自适应特征融合创新方案，包含2024最新研究成果，希望可以给读者带来一些灵感。

ASFF：自适应空间特征融合

ASFF通过学习每个空间位置上不同层级特征的重要程度，自适应地过滤掉携带矛盾信息的特征，从而解决了特征不一致性问题。

方法：本文提出了一种名为自适应空间特征融合（ASFF）的新颖有效方法，用于解决单次检测器中特征金字塔不一致的问题。该方法使网络可以直接学习如何在其他级别上对特征进行空间滤波，从而只保留有用的信息进行组合。

创新点：

• 基于基础线进行消融研究：通过消融研究，研究人员评估了多个元素对基线检测器的贡献，包括训练技巧、引导锚策略和附加的IoU损失。
• 提出了自适应空间特征融合（ASFF）策略：ASFF方法通过学习如何在不同层次上对特征进行空间过滤，从而解决了单镜头检测器中特征金字塔的不一致性问题。

MSA：基于层次自适应特征融合网络的多模态情感分析方法

研究提出了一种基于层次自适应特征融合网络的MSA方法。该方法通过提取模态特征和跨模态特征交互实现信息的学习和融合，并引入自适应门控机制来提高全局模态特征交互过程，从而提高MSA的准确性。

图1：MSA方法框架图

创新点：

• 基于层次自适应特征融合网络的MSA方法：该方法利用RoBERTa、ResViT和LibROSA等工具提取不同的情感特征，并构建了一个分层自适应的多模态融合网络。
• 提出了一种基于文本模态指导的层次自适应融合方法。该方法能够充分考虑模态之间的特征交互，同时平衡局部与全局的模态相关特征和独特特征，有效提高情感分类性能。
• 跨模态特征交互：通过改进的跨模态特征交互模块，实现了跨模态融合。该模块可以接收两个模态的输入，将高层文本特征表示和高层音频特征表示输入到跨模态特征交互模块中，实现跨模态特征的融合。

图2：跨模态特征交互模块示意图

AFF：自适应特征融合方法

AFF是一种创新的深度学习模型特征融合方法，通过动态调整特征融合过程来提高模型的泛化能力和性能表现。该方法结合了数据驱动和模型驱动的融合策略，通过自适应地融合特征来优化模型的表现。

创新点：

• 自适应融合层的整合：该论文引入了自适应融合层，将其整合到现有的深度学习架构中，从而实现了更强大、更适应性强、更有效的深度学习模型的开发。
• 使用关注机制、基于图的技术和元学习组件：AFF框架结合了关注机制、基于图的技术和元学习组件，进一步提升了深度学习模型的性能和泛化能力。
• 用于实现自适应融合的融合函数：该论文使用线性和非线性融合函数来组合自适应融合层中的特征。
• 层次化融合：AFF框架可以扩展到多级抽象层次上，从而实现自适应地在深度学习模型中多级抽象层次上融合特征。
• 迁移学习和领域自适应：AFF框架的当前实现主要针对单领域任务。
• 与新兴架构的整合：AFF框架可以适应新兴的深度学习架构，如Transformer、胶囊网络和自监督学习模型。

AFFN：自适应特征融合网络在地铁客流预测中的应用

本文提出了一种自适应特征融合网络（AFFN）来预测城市地铁系统中的起始-目的地（OD）客流。AFFN首先开发了增强的多图卷积门控循环单元（EMGC-GRU），以融合多个基于知识的图和GRU之间的隐藏关联。然后，引入了一个基于外部因素的注意力模块，以准确捕捉来自外部因素的周期模式。为了进一步提高预测准确性，还提出了一个非对称的多任务框架，以相互预测OD流和IO流。

图3：AFFN框架示意图

创新点：

• 提出了一种自适应特征融合网络(AFFN)，用于预测城市地铁系统中的起始-目的地乘客流量。
• AFFN采用了增强型多图卷积GRU(EMGC-GRU)来捕捉预定义的多个知识图和GRU内部自动学习的隐藏注意力相关性之间的空间相关性。
• 提出了一个基于外部因素的注意力模块，将周期性数据流与从外部因素学习到的注意力权重相结合，以提高预测准确性。
• 通过多任务AFFN，共享IO预测网络和基于外部因素的注意力，进一步提高了OD预测的准确性。