CVPR 2024最新研究：SegFormer3D实现3D医学图像分割突破

CVPR 2024最新研究：SegFormer3D实现3D医学图像分割突破

引用

CSDN

1.

https://m.blog.csdn.net/qq_42722197/article/details/144948953

在医疗影像分析领域，3D医学图像分割是诊断和治疗中的关键任务。近期，来自CVPR 2024的一篇论文提出了SegFormer3D，这是一种轻量级的Transformer架构，通过创新的设计在保持高性能的同时大幅减少了模型参数和计算复杂度。本文将详细介绍SegFormer3D的核心创新点及其在多个公开数据集上的出色表现。

论文信息

• 题目：SegFormer3D: an Efficient Transformer for 3D Medical Image Segmentation
• 作者：Shehan Perera, Pouyan Navard, Alper Yilmaz
• 源码：https://github.com/OSUPCVLab/SegFormer3D.git

论文创新点

1. 轻量级架构设计：SegFormer3D通过采用层次化Transformer架构，实现了33倍的参数减少和13倍的计算复杂度降低，相比当前最先进的模型。
2. 多尺度体积特征注意力计算：通过层次化Transformer计算多尺度特征上的注意力，增强了全局上下文理解能力。
3. 全MLP解码器：采用全MLP解码器替代传统复杂解码器，简化了结构并提高了效率。

摘要

视觉Transformer（ViTs）在3D医学图像分割领域展现出超越传统CNN模型的潜力，但同时也带来了模型规模庞大、计算资源需求高等问题。为了解决这些问题，研究者提出了SegFormer3D，一个轻量级的Transformer架构。SegFormer3D通过层次化Transformer计算多尺度特征注意力，并采用全MLP解码器聚合局部和全局特征。实验结果表明，SegFormer3D在保持高性能的同时，参数量减少了33倍，计算复杂度降低了13倍。

1. 引言

深度学习在医疗保健领域的应用显著提升了医学数据分析能力。传统的3D医学图像分割方法主要依赖编码器-解码器架构，但这类方法难以处理全局上下文信息。近年来，基于Transformer的技术通过注意力机制显著提升了分割性能。然而，ViT模型在训练和部署时需要大量计算资源，且在医学图像领域常见的小数据集上容易过拟合。此外，ViT的计算效率也受到限制。

SegFormer3D通过以下创新解决了这些问题：

1. 在多尺度体积特征上计算注意力
2. 采用全MLP解码器替代复杂解码器
3. 设计了内存高效的Transformer架构

3. 方法

编码器

SegFormer3D的编码器包含三个关键组件：

1. 重叠补丁合并：保留体素间的邻域信息
2. 高效自注意力机制：将计算复杂度从O(n^2)降低到O(n^2/r)
3. mix-ffn模块：自动学习位置线索，避免固定位置编码

解码器

解码器采用简单的线性层结构，通过以下步骤生成最终分割掩码：

1. 对每个阶段的特征进行线性投影
2. 上采样特征
3. 融合所有特征
4. 生成最终分割掩码

4. 实验结果

研究者在三个公开数据集上评估了SegFormer3D的性能：

1. Brain Tumor Segmentation (BraTS)
2. Multi-Organ CT Segmentation (Synapse)
3. Automated Cardiac Diagnosis (ACDC)

实验设置：

• 单个Nvidia RTX 3090 GPU
• AdamW优化器，学习率为3e-5
• Dice-Cross Entropy Loss组合
• 训练1000个周期

4.1. BraTS数据集结果

在BraTS数据集上，SegFormer3D展示了与大型模型相当的性能，同时参数量仅为450万，计算复杂度为17.5 GFLOPs。

4.2. Synapse数据集结果

在Synapse数据集上，SegFormer3D仅次于拥有1.5亿参数的nnFormer架构，但参数量仅为450万。

4.3. ACDC数据集结果

在ACDC数据集上，SegFormer3D在参数量减少34倍、计算复杂度降低13倍的情况下，仍保持与SOTA模型相当的性能。

结论

SegFormer3D通过创新的架构设计，在保持高性能的同时大幅减少了模型规模和计算需求。这一研究不仅展示了轻量级Transformer在医学图像分割领域的潜力，也为医疗AI应用提供了更高效、更实用的解决方案。