结合CNN与Transformer，实现遥感图像处理性能巅峰，霸榜顶会顶刊！

结合CNN与Transformer，实现遥感图像处理性能巅峰，霸榜顶会顶刊！

引用

CSDN

1.

https://blog.csdn.net/weixin_42645636/article/details/145912519

CNN与Transformer的结合在遥感图像处理领域展现出强大的潜力，多个创新模型在顶级期刊和会议上发表，取得了显著的研究成果。本文将详细介绍几个代表性模型的创新点和方法，包括TCNet、CMLFormer、CD-CTFM和CTST等，这些模型在遥感图像语义分割、云检测和变化检测等方面取得了显著成果。

TCNet：Transformer和CNN的多尺度融合

TCNet是一种将CNN和Transformer结合用于遥感图像语义分割的创新方法。通过充分利用局部和全局信息，TCNet在多个数据集上展示了优越的性能，证明了其在遥感图像分割任务中的有效性。

• 介绍了一种名为TCNet的网络，采用并行分支架构，其中Transformer分支用于获取全局上下文，而CNN分支则用于捕获低级空间细节。
• 提出了一种新颖的融合技术，称为交互自注意力（ISa），用于融合从两个分支中提取的多层次特征。
• 开发并应用了一种名为窗口自注意力门控（WSaG）的跳跃连接模块，集成到渐进上采样网络（PUN）中。

CMLFormer：轻量级CNN和多尺度局部上下文Transformer

CMLFormer是一种新颖的网络架构，结合轻量级CNN和多尺度局部上下文Transformer，用于遥感图像的语义分割，以解决现有方法在全局和局部信息整合上的不足，通过设计多尺度局部上下文变换块（MLTB）和特征增强模块（FEM）来提升分割性能。

• MLTB模块通过结合注意力机制和多尺度策略，在不增加复杂度的情况下有效捕捉局部和全局特征信息。
• 提出了一种特征增强模块，能够在通道和空间维度上实现全局与局部信息的综合融合。
• CMLFormer采用了轻量级的ResNet-18作为编码器，并结合了CNN和Transformer的优势。

CD-CTFM：轻量级CNN-Transformer网络

CD-CTFM是一种轻量级卷积神经网络-Transformer网络（CD-CTFM），用于改进遥感图像中的云检测，其基于编码器-解码器架构，结合注意力机制，能够在保留准确性的同时提升效率。

• 结合CNN和Transformer的轻量级网络骨干，用于同时提取局部和全局特征。
• 在编码器和解码器之间的每个跳步连接中集成LWCSAM，以提取低级特征同时抑制无关信息。
• 引入无参数HFF技术解决栅格效应，使用SD块代替常规DC，低成本下提升准确度。

CTST：时空同步网络

CTST是一种结合CNN和Transformer的时空同步遥感变化检测网络，旨在通过动态权重分配方法增强模型对全球依赖性的理解和局部特征的提取效果，采用边缘增强和时间同步模块来提升对复杂地表变化的检测精度和效率。

• 通过多尺度卷积和通道注意力结合的方式，有效捕获特征中的有效信息并抑制无关信息。
• 通过改进的双流交互注意模块 (DSIAM)，设计相关性映射分布算法，优化双时特征之间的相互作用和信息提取质量。
• 提出一种创新的双流结构用于多场景特征信息处理，通过特征拼接和求和运算，确保解码阶段的跨尺度信息融合和特征互补。