2025年CNN与Transformer融合的创新点思路

2025年CNN与Transformer融合的创新点思路

引用

CSDN

1.

https://blog.csdn.net/weixin_42645636/article/details/145165359

CNN与Transformer的融合结构在AI领域一直备受关注，其核心优势在于结合了CNN在图像处理方面的强大能力与Transformer在序列数据处理方面的优势，从而提升了模型处理复杂数据的灵活性和效率。

LEFormer：遥感图像湖泊提取

LEFormer提出了一种结合卷积神经网络（CNN）和Transformer的混合架构，用于从遥感图像中准确提取湖泊。该模型通过在训练阶段使用transformer语义信息来提高实时语义分割性能，解决了传统双分支方法中计算开销高和推理速度慢的问题，实现了新一代的状态SOTA结果。

创新点：

• SCTNet 引入了一种创新的单分支架构，能够在不增加推理计算成本的情况下提取高质量的长程语境信息。
• 提出了 CF-Block 和语义信息对齐模块，帮助 SCTNet 在训练过程中从 transformer 分支捕获丰富的语义信息。
• 通过将 GFA 中的矩阵乘法替换为逐像素卷积操作，保留了特征图的空间结构，同时降低了推理延迟。

TractGraphFormer：扩散MRI纤维束成像性别预测

TractGraphFormer是一种将Graph CNN与Transformer结合的混合模型，用于基于扩散MRI纤维束成像的性别预测。该模型通过整合局部解剖信息和全局特征依赖性，显著提升了分类性能。

创新点：

• TractGraphFormer框架结合了Graph CNN和Transformer架构，首次在扩散MRI束流追踪中同时捕获局部解剖关系和全局特征依赖。
• 提出了一个注意力模块，以解释性别预测任务中的预测性束流。
• 引入了一个新的组合图，综合考虑了白质（WM）和灰质（GM）信息。

WiTUnet：低剂量CT图像去噪

WiTUnet是一种结合卷积神经网络和Transformer的新型网络架构，用于低剂量计算机断层扫描图像的去噪。该模型通过嵌套密集的跳跃路径和窗口化的Transformer结构，改善特征对齐和局部信息融合，显著提升了LDCT图像的去噪效果和图像质量。

创新点：

• WiTUnet通过引入窗口注意力机制和LiPe模块，实现了在保持低计算开销的同时，显著提升去噪性能。
• 通过使用局部增强窗口（LeWin）Transformer模块，WiTUnet有效减少了高分辨率特征图中的计算需求，同时在U-net架构中成功应用，提升了图像重建的效果。
• WiTUnet通过调整特征通道数量（C值），找到了计算效率与去噪效果之间的最佳平衡。

CST-YOLO：基于改进YOLOv7和CNN-Swin Transformer的血细胞检测

CST-YOLO是一种基于YOLOv7架构的血细胞检测模型，通过引入CNN-Swin Transformer模块来增强模型的特征提取能力。此外，还引入了三个其他有用的模块：加权高效层聚合网络（W-ELAN）、多尺度通道分割（MCS）和连接卷积层（CatConv），以提高小目标检测的精度。

创新点：

• 引入了一种新的小目标检测模型CST-YOLO，通过结合YOLOv7架构和Swin Transformer，首次实现了Transformer与YOLOv7的融合。
• 引入了加权高效层聚合网络（W-ELAN）、多尺度通道分割（MCS）和拼接卷积层（CatConv）等模块。

这些创新点展示了CNN与Transformer融合在不同领域的应用潜力，为相关领域的研究提供了有价值的参考。