通过集成多模态学习方法实现阿尔茨海默症的稳健早期检测
通过集成多模态学习方法实现阿尔茨海默症的稳健早期检测
阿尔茨海默症（AD）是一种复杂的神经退行性疾病，其早期诊断通常因症状隐匿和表现多样而面临挑战。传统的单一模态诊断方法由于数据的局限性，往往导致误诊。本文提出了一种先进的多模态分类模型，该模型整合了临床、认知、神经影像和脑电图（EEG）数据，以提升诊断精度。
摘要
阿尔茨海默症（Alzheimer’s Disease，AD）是一种复杂的神经退行性疾病，其早期诊断通常因症状隐匿和表现多样而面临挑战。传统的单一模态诊断方法由于数据的局限性，往往导致误诊。本文提出了一种先进的多模态分类模型，该模型整合了临床、认知、神经影像和脑电图（EEG）数据，以提升诊断精度。该模型引入了特征标记器和TimesBlock模块，能够捕捉EEG数据中的复杂时间模式。此外，利用跨模态注意力聚合模块（CMAA），有效融合了磁共振成像（MRI）的空间信息和EEG的时间数据，从而显著改善了AD、轻度认知障碍（MCI）和正常认知状态（NC）之间的区分能力。研究还构建了首个包含EEG、MRI和表格数据的AD分类数据集，为未来的研究提供了新方向。
1. 引言
阿尔茨海默症是一种不可逆且进行性的神经退行性疾病，表现为全面的记忆受损、执行功能障碍及性格行为改变。由于老龄化加剧，AD的发病率持续上升，给社会经济、医疗系统、患者及其家庭带来了巨大的挑战。当前的AD诊断由于症状微弱、检测过程漫长且依赖医生经验，容易导致误诊，尤其是在轻度认知障碍阶段。近年来，深度神经网络的进步在AD分类中取得了显著成果，但单模态方法无法完全捕捉AD的复杂性，因此多模态方法成为研究的趋势。
2. 相关工作
之前的研究展示了多模态分类方法在AD诊断中的有效性。例如，Liu等人提出了基于ResNet50的蒙特卡罗集成神经网络，准确率达到90%。Wang等人则引入了图扩散和超图正则化的多模态学习框架，准确率达到了96.48%。Elazab等人综述了使用机器学习和深度学习模型进行AD诊断的进展，特别是多模态数据融合技术。然而，现有方法大多未能充分利用多模态信息，仍有改进空间。
3. 方法
本文提出了一种增强的多模态分类模型，该模型包含三个主要模块：表格特征编码器、时间特征编码器和跨模态聚合编码器。
所提出的MSTNet的整体框架。MSTNet模型主要由三个部分组成：表格特征编码器、时间特征编码器和跨模态聚合编码器。
3.1 表格特征编码器
在AD的诊断过程中，患者的临床数据和认知测试结果等表格数据提供了宝贵的信息。然而，这些数据的多样性给统一处理带来了挑战。为解决此问题，本文使用特征标记器和基于Transformer的编码架构，专门处理表格数据，提高了多模态模型的诊断准确性。
(a) 特征标记器将数值和分类特征转换为嵌入向量。 (b) TimesBlock模块对时间序列数据的多周期特征进行二维转换。
3.1.1 特征标记器
特征标记器的作用是将数值特征（如患者的年龄和MMSE评分）和分类特征（如性别和教育水平）转换为嵌入向量。然后这些嵌入向量被输入表格数据编码架构，进行特征提取。
3.1.2 表格编码架构
表格编码架构使用多头自注意力机制和前馈神经网络来处理特征标记器生成的嵌入向量，从而捕捉特征之间的复杂关系。最终输出的嵌入序列通过跨模态注意力与图像和EEG的特征进行聚合，并通过分类层进行预测。
3.2 时间特征编码器
EEG数据包含丰富的时间信息，但同时也容易受到噪声的干扰。本文借鉴Wu等人的TimesBlock模块，通过二维转换来处理EEG的多周期特征，将复杂的时间变化模式分解为周期内和周期间的变化，以提高EEG信号的处理能力。
3.3 跨模态注意力聚合模块（CMAA）
MRI数据提供空间信息，而EEG数据提供时间信息，二者的结合能够提供更全面的分析。本文提出的CMAA模块将处理后的MRI和EEG特征进行融合，以捕捉两者之间的复杂相关性，从而增强多模态任务中的表现。
4. 实验
4.1 数据集与实验细节
本文的实验在自建的ADMC数据集上进行，该数据集包含100名受试者的EEG、MRI和表格数据，平均年龄为72.4岁。数据集分为80个训练样本和20个评估样本。模型在NVIDIA Tesla V100 GPU上运行，使用PyTorch框架，训练时间为24小时。
在我们自建的ADMC数据集上对所提出的MSTNet进行的对比实验和消融实验。
4.2 对比实验
本文对比了MSTNet与多种先进的单模态和多模态模型，结果表明MSTNet在精度、召回率、F1值等多个指标上均有显著提升。例如，与表现最好的单模态模型相比，MSTNet的F1值提升了0.79%，与最好的多模态模型相比，F1值提升了4.17%。
4.3 消融研究
为了验证各模块对模型性能的贡献，本文进行了消融实验，移除了DenseBlock、TimesBlock、CMAA模块和特征偏置，分别评估了它们对性能的影响。结果显示，移除任一模块都会导致模型性能的显著下降，进一步验证了这些模块在MSTNet中的重要性。
5. 结论
本文提出了一种针对阿尔茨海默症早期诊断的多模态分类模型，该模型克服了传统单模态方法的局限性，通过整合EEG、MRI和表格数据提高了分类精度。实验表明，所提出的MSTNet模型在AD、MCI和NC分类任务中表现出色。通过多模态数据的有效融合，本文的方法为神经退行性疾病的分类提供了重要的研究进展。