入选AAAI 2025！多模态医学图像融合新突破！
入选AAAI 2025！多模态医学图像融合新突破！
近年，多模态医学图像融合技术发展迅速，在AAAI 2025大会上，由国内两大高校联合提出的BSAFusion引起了AI4S研究者的广泛关注。该方法将图像配准与融合集成于统一框架，实现了单阶段对齐与融合，开创了医学图像融合新技术方向。
如今，基于深度学习的融合方法在多模态医学图像融合领域占据主导地位。深度学习算法在特征提取和泛化能力方面具有显著优势，能够与其他先进技术结合，进一步提升融合效果。当前研究趋势显示，基于深度学习的融合方法正向混合多种技术辅助的方向发展。
以下是四个具有代表性的多模态医学图像融合方法：
BSAFusion：双向逐步特征对齐网络
方法：该方法提出了一种单阶段多模态医学图像配准与融合框架，通过共享特征编码器和引入模态差异消除方法，减少了模型复杂性。同时，采用双向逐步特征对齐策略和多模态特征融合模块，实现了精确高效的特征对齐和融合。
创新点：
- 提出了一种单阶段的多模态医学图像配准与融合框架，通过共享特征编码器降低模型复杂度。
- 采用基于向量位移路径独立性的双向逐步对齐变形场预测策略，提升特征对齐精度。
- MDF-FR通过将当前图像中MFRH的信息注入其他模态图像中，有效减小模态差异对特征对齐的负面影响。
基于目标信息增强的多模态医学图像融合网络
方法：该研究提出了一种多模态MRI图像融合方法，通过引入基于信息熵的特征信息测量块、融合块和新损失函数，旨在增强图像的纹理信息和结构清晰度。同时，通过跨模态学习与信息增强技术，实现不同模态下肿瘤特征的显著呈现。
图1：基于目标信息增强的多模态医学图像融合网络示意图
创新点：
- 提出了基于信息熵的特征信息测量块，通过跳跃连接在编码和解码阶段间建立高效的特征通道筛选机制，增强了特征的复用性和纹理丰富性。
- 设计了一个融合块，用于提取和合并多模态深度特征。
- 提出了一个结合模态和组织加权的新损失函数，利用区域对比度指数来控制源图像信息的保留程度，关注在不同医学应用中关键的感兴趣区域。
基于证据理论的多模态医学图像分割方法
方法：该方法提出一种结合Dempster-Shafer理论（DST）和深度神经网络的多模态医学图像分割方法，通过证据映射模块和多模态证据融合模块，优化分割性能与不确定性量化，解决了传统多模态图像融合方法在解释和可靠性上的局限。
图2：基于证据理论的多模态医学图像分割方法示意图
创新点：
- 提出了一种新颖的融合架构，将特征提取、证据映射和组合模块结合起来，用于多模态医学图像分割。
- 引入了一种上下文折扣操作，以修正每种成像模态的质量函数，从而更好地考虑不同模态在不同上下文中的可靠性。
- 提出了一种改进的双部分损失函数，使得既可以优化每个独立模态的分割性能，又能优化组合决策的整体性能。
FusionMamba：动态特征增强模型
方法：该方法通过设计一个新的动态特征增强模型，结合改进的高效Mamba模型和动态卷积、通道注意力等方法，提高全局建模能力和局部特征提取能力。该方法能够有效增强纹理、差异感知和模态之间的相关性，抑制冗余信息，从而在各种多模态图像融合任务中展示出卓越的性能。
图3：FusionMamba模型结构示意图
创新点：
- 首次将改进的Mamba模型应用于图像融合，结合动态卷积和通道注意力，增强局部特征提取能力，同时保持全局建模优势。
- 引入DFFM，包含动态特征增强模块（DFEM）和跨模态融合模块（CMFM），自适应增强纹理细节和模态间差异信息，挖掘模态相关性并抑制冗余信息。
图4：FusionMamba模型融合效果示例
这些研究成果展示了多模态医学图像融合领域的最新进展，为相关领域的研究者提供了重要的参考价值。