MIA 2025|基于风格混合增强解耦学习的无监督域自适应医学图像分割
MIA 2025|基于风格混合增强解耦学习的无监督域自适应医学图像分割
论文信息
论文标题:
Style Mixup Enhanced Disentanglement Learning for Unsupervised Domain Adaptation in Medical Image Segmentation
基于风格混合增强解耦学习的无监督域自适应医学图像分割
作者:
Zhuotong Cai, Jingmin Xin, Chenyu You, Peiwen Shi, Siyuan Dong, Nicha C. Dvornek, Nanning Zheng, James S. Duncan
创新点
摘要
无监督域自适应(UDA)在医学图像分割中表现出色,能够通过提高模型的泛化能力来解决跨模态医学分割中的域偏移问题。然而,现有的UDA方法大多依赖于高质量的图像翻译和多样性约束来显式增强数据的多样性,这难以确保语义一致性并捕捉域不变表示。本文提出了一种新的风格混合增强解耦学习(SMEDL)方法,通过解耦风格混合在特征空间中隐式生成具有多样风格的混合域,从而进一步提高模型的泛化能力和域不变学习能力。此外,本文还引入了像素级一致性正则化,以确保风格混合域的有效性,并提供域一致性指导。实验结果表明,该方法在两个公开的心脏数据集和一个脑部数据集上均优于现有的UDA方法。
关键词:
无监督域自适应、解耦学习、风格混合、医学图像分割
引言
随着深度学习的快速发展,医学图像分割取得了显著进展。然而,临床应用中,医学数据的分布存在较大差异,称为域偏移,这会导致模型在目标域上的性能下降。无监督域自适应(UDA)旨在从有标签的源域中学习语义信息,并将这些知识迁移到无标签的目标域中。现有的UDA方法主要分为两类:基于图像对齐的方法和基于特征对齐的方法。本文提出的SMEDL方法通过解耦风格混合和双层级域不变学习,显著提升了模型的泛化能力和域不变表示学习能力。
方法
本文提出的SMEDL方法主要包括两个部分:解耦风格混合(DSM)和双层级域不变学习(DDL)。
图1:提出的SMEDL框架示意图。图中不同的形状代表医学图像中不同器官的特征。第一步,利用解耦风格混合(DSM)生成风格混合域,包括源混合域和目标混合域。风格混合域与原始域共享相同的语义信息(通过线条颜色表示),但具有混合的风格(通过填充颜色表示)。第二步,引入双层级域不变学习,包括:(1)域内对比学习(ICL),在原始域和内容相关的风格混合域之间进行对比学习,以学习域内变化下的不变表示;(2)域间对抗学习(IAL),在两个风格混合域之间进行对抗学习,以捕捉域间变化下的不变表示。
图2 整体流程。
解耦风格混合
通过解耦风格混合,隐式生成具有多样风格的混合域。具体来说,首先通过共享权重的特征提取器将输入图像分解为内容特征和风格特征,然后通过风格因子的凸组合生成混合风格因子,最后将混合风格因子与内容特征结合,生成新的风格混合域。
双层级域不变学习
双层级域不变学习包括域内对比学习和域间对抗学习。域内对比学习通过构建原始域和风格混合域之间的对比关系,增强域内不变表示的学习能力。域间对抗学习则通过判别器区分两个风格混合域,进一步学习域间不变表示。
实验
本文在两个公开的心脏数据集(MM-WHS和MS-CMRSeg)和一个脑部数据集(BraTS18)上进行了实验验证。实验结果表明,SMEDL方法在多个任务上均优于现有的UDA方法。
数据集
MM-WHS数据集:包含20个MRI和20个CT扫描,目标是对心脏的四个结构进行分割。
MS-CMRSeg数据集:包含45对bSSFP和LGE CMR图像,目标是对右心室、左心室和心肌进行分割。
BraTS18数据集:包含285名患者的MRI扫描,目标是对脑肿瘤进行分割。
实验结果
实验结果表明,SMEDL方法在多个任务上均取得了最优的性能。特别是在MM-WHS数据集上,SMEDL方法在“MRI→CT”和“CT→MRI”两个任务上的平均Dice分别达到了83.6%和67.9%,显著优于其他方法。
讨论
本文提出的SMEDL方法通过解耦风格混合和双层级域不变学习,显著提升了模型的泛化能力和域不变表示学习能力。实验结果表明,该方法在多个医学图像分割任务上均优于现有的UDA方法。
DSM的有效性
解耦风格混合通过隐式生成具有多样风格的混合域,避免了显式的图像翻译和多样性约束,从而提升了模型的泛化能力。
DDL的有效性
双层级域不变学习通过域内对比学习和域间对抗学习,进一步增强了模型的域不变表示学习能力。
结论
本文提出了一种新的风格混合增强解耦学习(SMEDL)方法,用于无监督域自适应的医学图像分割。通过解耦风格混合和双层级域不变学习,显著提升了模型的泛化能力和域不变表示学习能力。实验结果表明,该方法在多个公开数据集上均优于现有的UDA方法。