遥感领域新方向！Mamba+RS论文汇总！

遥感领域新方向！Mamba+RS论文汇总！

引用

CSDN

1.

https://blog.csdn.net/qq_43542339/article/details/140783401

Mamba作为一种新型的神经网络架构，近年来在计算机视觉领域展现出强大的潜力。特别是在遥感领域，研究人员积极探索Mamba的应用，取得了显著的成果。本文总结了14篇将Mamba应用于遥感领域的论文，涵盖了遥感图像处理、多/高光谱图像分类、变化检测/语义分割以及遥感图像融合/超分辨率等多个方向。

1. 遥感图像处理

Pan-Mamba: Effective pan-sharpening with State Space Model

• 论文链接：https://arxiv.org/pdf/2402.12192
• 主要内容：将Mamba应用到Pan-sharpening中提出Pan-Mamba，提出了两个核心模块：
• Channel Swapping Mamba Block：通过部分全色和多光谱通道的交换启动轻量级的跨模态交互
• Cross modality Mamba Block：通过利用固有的跨模态关系增强信息表示能力

HSIDMamba: Exploring Bidirectional State-Space Models for Hyperspectral Denoising

• 论文链接：https://arxiv.org/pdf/2404.09697
• 主要内容：将Mamba应用到高光谱成像（HSI）去噪中提出了HSIDMamba（HSDM），主要模块如上图所示：模块关系如下：
• Spectral Attention：见图中©，由平均池化、二维卷积等组成的注意力模块
• Bidirectional State Space Module：见图中(b)，由DWConv和SS2D等模块组成
• Hyper Continuous Scan Block：将上面两个模块结合残差连接和transformer结构组成。

2. 多/高光谱图像分类

RSMamba: Remote Sensing Image Classification with State Space Model

• 论文链接：https://arxiv.org/pdf/2403.19654
• 主要内容：将Mamba直接应用到遥感图像分类任务上，由于Mamba模型处理1D数据，而遥感图像往往至少2D，因此提出了一种动态多路径激活机制（Multi-Path SSM Encoder）来增强 Mamba 对非因果数据的建模能力。
• Multi-Path SSM Encoder：总体上来看先用卷积提取遥感图像特征，flatten后加入position encoding。（有点类似于vit中的patch embedding

SpectralMamba: Efficient Mamba for Hyperspectral Image Classification

• 论文链接：https://arxiv.org/pdf/2404.08489
• 主要内容：将Mamba应用至高光谱图像分类中提出SpectralMamba。包括三个核心模块：
• Piece-wise Sequential Scanning（PSS）：沿光谱维度的分段顺序扫描（与空间维度相区分）
• Gated Spatial-Spectral Merging（GSSM）：用门控机制，把空间维度和光谱维度特征融合
• Efficient Selective State Space Modeling：状态空间模型
  根据Fig3具体流程如下：
• 先把高光谱影像分块，得到patch wise input后通过卷积、残差连接等模块把空间维度的特征融合（图像分类，消除空间维度）
• 经过PSS模块丰富通道信息，进而通过GSSM模块和S6模块融合特征
• 最终通过一个MLP进行图像分类

Spectral-Spatial Mamba for Hyperspectral Image Classification

• 论文链接：https://arxiv.org/pdf/2404.18401
• 主要内容：用于高光谱图像（HSI）分类，提出SS-Mamba（两个S分别表示Spectral和Spatial）。根据上图结构可知主要流程如下：
• （1）把输入影像在Spectral和Spatial两个维度上分块，同时加上position encoding（类似于VIT中对图像进行patch embedding，针对的维度不同）
• （2）将上述特征分别通过两个Mamba Block，利用Addition、Copy、Activation以及Linear Layer等操作进行特征融合。
• （3）求平均后接一个Linear Classifier（例如MLP）
  其中关键在于（1）分块和（2）特征融合

S2Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

• 论文链接：https://arxiv.org/pdf/2404.18213
  
• 主要内容：用于高光谱图像（HSI）分类，提出SS-Mamba。由图中Main Framework可知，主要有三个模块：
• PCS（Patch Cross Scanning Mechanism）：通道扫描、生成patch embedding，得到空间维度特征
• BSS（Bi-directional Spectral Scanning Mechanism）：生成路径，匹配光谱，得到光谱维度特征
• SMG（Spatial-spectral Mixture Gate）：利用门控机制融合两种特征

3. 变化检测/语义分割

ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model

• 论文链接：https://arxiv.org/pdf/2404.03425
  
• 主要内容：将Mamba用于遥感图像变化检测，提出ChangeMamba，为三个变化检测任务提供了丰富的编码器和解码器。模型架构图有点类似于Swin Transformer的4个Stage，充分贯彻多尺度特征融合，工作量饱满，建议阅读原文。

RSCaMa: Remote Sensing Image Change Captioning with State Space Model

• 论文链接：https://arxiv.org/pdf/2404.18895
• 主要内容：将Mamba用于遥感图像变化检测，提出RSCaMa。模型通过多个CaMa层实现了高效的联合空间-时间建模，其中CaMa层中包含SD-SSM和TT-SSM。利用Mamba状态空间模型的全局感知场和线性复杂度对空间、时间特征交叉建模
• SD-SSM：Spatial Difference-aware：空间维度上建模
• TT-SSM：Temporal-Traversing：时间维度上建模

Samba: Semantic Segmentation of Remotely Sensed Images with State Space Model

• 论文链接：https://arxiv.org/pdf/2404.01705
  
• 主要内容：将Mamba应用至高分辨率遥感图像分割领域，提出Samba。由图可知主要创新在于Samba Block
• Samba Block：由一个MLP和一个Mamba Block，并各自采用残差连接组成。
• Mamba Block：由SSM和Conv、Linear等模块组成。

RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation

• 论文链接：https://arxiv.org/pdf/2404.02457
  
• 主要内容：将Mamba用于遥感图像变化检测，提出RS3Mamba。由图可知模型采用一个Main Encoder和一个Auxiliary Encoder，Decoder采用UNetformer中的解码器。主要创新点在于Auxiliary Encoder中的VSS block和Main Encoder中的CCM
• VSS block：常规的Linear、LayerNorm以及SS2D（2D-selective-scan）
• CCM：用Window-based attention提取全局注意力特征，用卷积提取局部注意力特征，然后将两者融合。

RS-Mamba for Large Remote Sensing Image Dense Prediction

• 论文链接：https://arxiv.org/pdf/2404.02668
  
• 主要内容：将Mamba应用至遥感图像分割和变化检测中，提出RSM-SS和RSM-CD。由图可知主要为包含OSSM的OSS Block
• OSSM：将图像分块后按照8个方向排序，分别送入SSM Block提取特征然后融合
• OSS Block：OSSM 联合 DW卷积、Linear等模块一起组成OSS Block

4. 遥感图像融合/超分辨率

FusionMamba: Efficient Image Fusion with State Space Model

• 论文链接：https://arxiv.org/pdf/2404.07932
• 主要内容：将Mamba应用于遥感图像融合中，提出U形结构的spatial U-Net和spectral U-Net。由图可知，其中主要用到的模块是Mamba Block和FusionMamba Block
• Mamba Block：并联多个SSM处理特征，同样经过一个残差连接融合特征
• FusionMamba Block：两个并行的多FSSM处理特征，其中FSSM是将SSM扩展适应双输入。

A Novel State Space Model with Local Enhancement and State Sharing for Image Fusion

• 论文链接：https://arxiv.org/pdf/2404.09293
• 主要内容：为图像融合任务定制和改进了视觉Mamba网络。由图可知主要是LEVM模块（Local-Enhanced vision Mamba），具体如下
• a)：用local window将影像分块，每一个块内采用VMamba模块，同时块间共享信息
• b)：常规SS2D、Linear、FFN等模块组成VMamba
• c)：将window内的局部信息和window间融合的全局信息串联+残差连接，构成LEVM block
• d)：将低、高分辨率影像分别通过多个LEVM Layer处理，结构类似于Unet

Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution

• 论文链接：https://arxiv.org/pdf/2405.04964
• 主要内容：将Mamba应用至遥感图像（RSI）超分辨率（SR）中提出FMSR（频率辅助Mamba框架）。主要提出FMB模块，其中包含VSSM、HGM、FSM三个重要部分
• VSSM：Vision State Space Module，基于SSM搭建的视觉SSM模块
• HGM：Hybrid Gate Module，基于Attention，Linear，Conv等搭建的门控模块
• FSM：Frequency Selection Module，基于2D快速傅里叶变换搭建的模块

总结

近期将Mamba应用至遥感领域中的工作很多，做一点小结：

• 遥感图像离不开多尺度，高光谱离不开通道维度上的特征处理
• 把二维图像以某种形式转为一维序列让SSM来处理，很多工作都在扫描方式上进行了改进
• 感觉Swin Transformer的窗口思路和Unet的结构在搭模型的时候要使用
• 变化检测更多是2个时相，如果是多个时相的变化检测会不会可以更好的变换序列特征

论文pdf链接：https://pan.baidu.com/s/1rFn6pxTC5srOzmpeznyDag
提取码：o6aw