当CNN遇上Mamba，高性能与高效率通通拿下！
当CNN遇上Mamba，高性能与高效率通通拿下！
近年来，随着深度学习技术的快速发展，卷积神经网络（CNN）和Transformer模型在计算机视觉领域取得了显著的成果。然而，传统的视觉模型在处理大规模或高分辨率图像时仍存在一定的限制。为了解决这一问题，研究者们提出了将Mamba与CNN相结合的策略。这种结合使得Mamba在处理长序列数据时既能捕捉到序列中的时间依赖关系，又能利用CNN的局部特征提取能力来加速处理过程，实现了计算效率与模型性能的双赢。
HC-MAMBA：医学图像分割的突破
HC-MAMBA是一种基于Mamba的医学图像分割模型，它结合了多种针对医学图像优化的卷积技术，包括扩张卷积和深度可分离卷积。这些技术的结合使得HC-MAMBA能够在保持高性能的同时，以更低的计算成本处理大规模医学图像数据。
实验结果显示，HC-MAMBA在医学图像分割任务中表现出色，具有高准确率（94.84%）、mIoU（80.72%）和DSC（89.26%）。其主要创新点包括：
- 提出了一种用于医学图像分割的混合卷积 Mamba 模型（HC Mamba），它结合了多种针对医学图像优化的卷积方法，以提高模型的感受野并减少模型的参数。
- 引入了 HC-Mamba 模型中的扩张卷积技术，让模型能够在不增加计算成本的情况下捕捉更广泛的上下文信息，通过扩展卷积核的感知域来增强模型对不同尺度图像结构的感知能力。
InsectMamba：昆虫害虫分类的新方法
InsectMamba是一种新型的昆虫害虫分类方法，它结合了状态空间模型（SSMs）、CNNs、多头自注意力机制以及MLPs。通过在Mix-SSM块中整合这些不同的视觉编码策略，InsectMamba能够提取更全面的视觉特征。此外，该模型还引入了一个选择性模块，用于自适应地聚合不同编码策略中的特征，增强模型识别害虫特征的能力。
InsectMamba的主要创新点包括：
- 首次尝试将基于SSM的模型应用于昆虫害虫分类，提出了InsectMamba模型。
- 提出了一种选择性聚合模块，可以自适应地组合来自不同编码策略的视觉特征，从而使模型能够选择用于分类的相关特征。
- 实验结果显示，InsectMamba在准确率、精确度、召回率和F1分数等评价指标上均优于现有模型，特别是在农业害虫数据集上达到了91%的准确率。
Weak-Mamba-UNet：基于涂鸦注释的医学图像分割
Weak-Mamba-UNet是一种创新的弱监督学习框架，它结合了CNN、ViT以及最新的视觉Mamba架构，用于基于涂鸦（scribble-based）注释的医学图像分割。该框架在公开可用的MRI心脏分割数据集上表现出色，Dice系数达到0.9171，准确率达到0.9963。
Weak-Mamba-UNet的主要创新点包括：
- Weak-Mamba-UNet是一种创新的弱监督学习框架，通过结合CNN、ViT和VMamba的特征学习能力，显著降低了注释所需的成本和资源。
- 该框架采用多视角交叉监督学习方法，增强了不同网络架构的适应性，使它们能够相互受益。
LMa-UNet：超越卷积和自注意力的医学图像分割
LMa-UNet是一种新型的2D和3D医学图像分割网络结构，它利用Mamba进行长距离依赖建模，并结合了大窗口的优势，以实现局部空间建模和全局建模的高效性。此外，该模型还设计了一种新颖的分层和双向Mamba块（LM块），以进一步增强Mamba在全局和邻域空间建模能力。
LMa-UNet的主要创新点包括：
- 提出了一种用于2D/3D医学图像分割的大内核Mamba UNet模型（LKM-UNet）。
- 通过给SSM层分配大内核，实现了大感受野的空间建模能力。
- 设计了一种双向和分层的Mamba模块，增强了SSM的局部和全局特征建模能力。
这些研究工作展示了Mamba与CNN结合在医学图像分割等领域的巨大潜力，为相关领域的研究和应用提供了新的思路和方法。