通过跨模态协作实现稳健的半监督多模态医学图像分割

通过跨模态协作实现稳健的半监督多模态医学图像分割

引用

CSDN

1.

https://blog.csdn.net/qq_45745941/article/details/145508223

多模态学习利用来自不同模态的互补信息，从而提高医学图像分割的性能。然而，流行的多模态学习方法严重依赖来自各种模态的大量注释良好的数据来实现准确的分割性能。由于此类数据的可用性有限，这种依赖性通常会在临床环境中带来挑战。此外，不同成像模式之间固有的解剖错位使提高分割性能的努力进一步复杂化。

背景与目的

为了解决上述问题，研究人员提出了一种新的半监督多模态分割框架，该框架对稀缺的标记数据和未对齐的模态具有鲁棒性。具体来说，该框架采用了一种新颖的跨模态协作策略来提炼与模态无关的知识，这些知识与每种模态有着内在的联系，并将这些信息集成到一个统一的融合层中，以实现特征融合。

方法

该方法主要包括以下几个关键步骤：

1. 使用两个3D基础模型驱动编码器来捕获来自不同模态的表示。
2. 引入了一种新的跨模态协作策略来融合信息和对齐特征图。
3. 利用对比一致学习模块为未标记的数据生成一致的预测。

在特征对齐之后，引入了一种新的模态独立感知（MIA）模块，MIA模块集成了模态感知注意力机制、3D卷积层和融合层。同时，构建两个解码器Da和Db，使用监督损失函数对标记数据进行优化。对于没有标记的数据，引入了对比解剖相似一致性（CAC）损失。

实验结果

实验结果表明，该方法在心脏、腹部多器官和甲状腺相关眼眶病分割等三项任务中取得了有竞争力的性能。特别是在涉及稀缺标记数据和错位模态的场景中，该方法表现出出色的稳健性。