特征融合新技术——自适应特征融合！高效又涨点！

特征融合新技术——自适应特征融合！高效又涨点！

引用

CSDN

1.

https://m.blog.csdn.net/d22800/article/details/145627460

自适应特征融合（Adaptive Feature Fusion，AFF）是一种深度学习中的特征处理技术，它通过动态调整特征融合过程来提高模型的泛化能力和性能表现。本文将介绍四篇关于自适应特征融合技术的论文，这些论文分别在无监督领域自适应、行人再识别、目标检测和阴影鲁棒树冠检测等领域取得了显著的成果。

论文1：特征融合可转移性感知Transformer

标题：Feature Fusion Transferability Aware Transformer for Unsupervised Domain Adaptation

方法：

• 特征融合（Feature Fusion, FF）：在潜在空间中融合嵌入，使每个嵌入能够整合同一批次中其他嵌入的信息，从而提高泛化能力。
• Transformer架构：基于Vision Transformer（ViT），将图像分割为固定大小的非重叠块，并将这些块投影到潜在空间中作为patch tokens，结合位置嵌入后输入Transformer层。
• 领域自适应训练：使用源域和目标域的图像进行训练，通过领域判别器和patch判别器来评估特征的可转移性，并利用自聚类模块和分类器头分别对目标域和源域图像进行优化。

创新点：

• 可转移性图引导的自注意力（TG-SA）：通过强调高度可转移特征之间的连接，显著提高了模型在无监督领域自适应任务中的性能。
• 特征融合（FF）：通过在潜在空间中融合特征，提高了模型对噪声的鲁棒性和泛化能力。在Visda-2017数据集上，FFTAT平均准确率达到了93.8%，相比不使用FF的方法提升了9.3%。
• Transformer架构的改进：将Transformer架构应用于无监督领域自适应任务，相比传统的CNN架构，FFTAT在多个基准数据集上均取得了显著的性能提升。
• 动态学习可转移性图：FFTAT能够动态学习可转移性图，从而更好地识别和利用跨领域的可转移特征，进一步提升了模型的适应性和性能。

论文2：学习特征融合用于无监督领域自适应行人再识别

标题：Learning Feature Fusion for Unsupervised Domain Adaptive Person Re-identification

方法：

• 教师-学生框架（Teacher-Student Framework）：采用平均加权教师网络编码全局特征，学生网络在每次迭代中更新以编码细粒度局部特征。
• 特征融合模块（Fusion Module, FM）：通过自适应学习将局部特征与全局特征融合，突出局部特征在全局特征中的重要性。
• 多视图特征学习：通过教师网络的全局特征和学生网络的局部特征生成多视图特征表示，用于多级聚类以生成多样化的伪标签。

创新点：

• 特征融合模块（FM）：通过自适应学习融合全局和局部特征，避免了多伪标签学习中的模糊性问题。
• 多视图特征学习：通过教师-学生框架学习多视图特征，显著提高了模型对目标域的适应能力。在DukeMTMC-ReID到Market1501的实验中，LF2方法Rank1准确率提升了1.7%，达到92.8%。
• 伪标签优化：通过多级聚类生成多样化的伪标签，提高了伪标签的可靠性，从而提升了模型的性能。
• 细粒度特征学习：通过学生网络的局部特征图，LF2能够更好地关注行人的重要局部信息（如衣服、背包等），从而提高了特征表示的全面性。

论文3：学习空间融合用于单次检测目标检测

标题：Learning Spatial Fusion for Single-Shot Object Detection

方法：

• 自适应空间特征融合（ASFF）：提出了一种新颖的数据驱动策略，用于金字塔特征融合，通过学习空间过滤冲突信息来抑制不同特征尺度之间的一致性问题，从而提高特征的尺度不变性。
• 特征金字塔网络（FPN）：基于YOLOv3的特征金字塔结构，通过自适应空间特征融合策略，增强特征金字塔的表示能力。
• 特征重缩放与融合：将不同尺度的特征图重缩放到相同分辨率后进行自适应融合，通过学习权重图来决定不同尺度特征的贡献。

创新点：

• 自适应空间特征融合（ASFF）：通过自适应学习空间权重，解决了特征金字塔中不同尺度特征之间的一致性问题，显著提升了模型对多尺度目标的检测能力。
• 性能提升：在保持高效率的同时，ASFF显著提升了YOLOv3的性能，使其在COCO数据集上达到了43.9% AP（29 FPS），成为单次检测器中的SOTA。
• 计算效率：ASFF在推理时几乎不增加额外的计算开销，仅增加了2 ms的推理时间，保持了模型的高效率。
• 通用性：ASFF对不同的主干网络和单次检测器具有通用性，可以方便地应用于其他基于特征金字塔的检测器，如RetinaNet，同样取得了显著的性能提升。

论文4：ShadowSense：用于RGB-热成像无人机图像中阴影鲁棒树冠检测的无监督领域自适应和特征融合

标题：ShadowSense: Unsupervised Domain Adaptation and Feature Fusion for Shadow-Agnostic Tree Crown Detection from RGB-Thermal Drone Imagery

方法：

• 领域对抗训练（DAT）：通过领域对抗训练，使特征提取器学习到域不变的特征表示，从而适应热成像数据。
• 前景特征对齐（FG FPN FA）：通过特征金字塔网络（FPN）的前景特征对齐，确保在两种模态下可见的树冠特征一致。
• 特征融合：在推理阶段，通过加权平均融合RGB和热成像特征图的背景区域，以提高对阴影树冠的检测能力。

创新点：

• 无监督领域自适应：完全自监督的训练方式，无需目标域的标注数据，通过RGB和热成像图像的对齐性质进行自监督学习，显著提高了模型对阴影树冠的检测能力。
• 前景特征对齐：通过前景特征对齐，确保在两种模态下可见的树冠特征一致，从而提高了特征融合的效果，特别是在检测阴影树冠方面表现突出。
• 性能提升：在不增加额外计算开销的情况下，通过特征融合显著提升了检测性能。
• 数据集贡献：提供了一个大规模的RGB-热成像数据集，包含约5万对图像，涵盖了复杂的森林环境和不同的光照条件，为未来的研究提供了宝贵的资源。