多模态融合AI模型赋能肺部感染性疾病患者个性化诊疗
多模态融合AI模型赋能肺部感染性疾病患者个性化诊疗
肺部感染性疾病发病率高，疾病负担重，不同类型肺部感染性疾病（细菌性肺炎、病毒性肺炎、真菌性肺炎和肺结核）的精准诊断和重症预警是临床诊疗的难点和痛点。临床亟需一种快速精准的肺部感染性疾病诊断、病原体预测和重症预警的方法。
胸部计算机断层扫描（Computed Tomography，CT）是诊断肺部感染的重要辅助工具，但由于其“异病同征、同病异征”的现象，精准诊断困难。人工智能（Artificial Intelligence，AI）技术的快速发展推动了医疗领域的创新，多模态融合为疾病精准诊断的实现提供了技术基础。本研究创新性地开发了多模态融合（Multimodal Integration，MMI）模型，结合临床文本、影像图像、检验指标等多维度信息，实现肺部感染性疾病的智能诊断及病原类型的精准预测，并能及时对危重症患者进行预警干预（图1）。
图1 MMI模型在肺部感染性疾病诊疗的临床应用
本研究纳入了四川大学华西医院及其医联体的24,107例住院患者，收集了其临床症状、诊疗记录等文本、实验室检测结果和胸部CT图像（图2）。研究团队利用双向编码器转换器（Bidirectional Encoder Representations from Transformers，BERT）提取文本信息，通过骨干网络Swin-Transformer对图像信息进行特征提取。这种网络允许合并更大的补丁尺寸和更深的模型，从而在保持计算效率的同时提高图像识别性能。为进一步提高模型性能，研究团队采用注意力Attention架构，将模型从临床、影像、检验数据中提取的单模态特征合并为多模态特征，使MMI模型能够整合多个信息源并有效地对疾病进行精确诊断。
图2 多模态融合MMI模型总体架构
相较于仅使用临床特征或影像图像的单一模态模型，MMI模型在识别肺部感染性疾病患者方面表现出更高的准确性（内部测试集 Area Under the Curve，AUC 0.935, 95% 置信区间, CI: 0.932–0.939)（图3A），并能够区分单一感染和混合感染的患者。在识别不同类型的肺部感染性疾病（细菌性、病毒性、真菌性肺炎和肺结核）任务上，MMI模型平均性能依旧最佳（图3B-D）。仅使用临床特征的模型平均AUC为0.850，仅使用图像特征的模型平均AUC为0.894。相比之下，MMI模型的AUC为0.910，准确率为0.848，灵敏性为0.846，特异性为0.847。这些结果表明，MMI模型在肺部感染疾病辅助诊断方面具有潜在的临床应用价值。
图3 多模态融合MMI模型识别不同类型肺部感染性疾病的性能
不同的数据融合策略会影响模型的诊断性能，研究团队对早期融合（Early Fusion）、中期融合（Intermediate Fusion）和晚期融合（Late Fusion）三种融合架构进行了探索（图4A）。早期融合提供了整体特征表示，但可能忽略每个信息源的独特信息。晚期融合保留了每个信息源的独立性，但缺乏共享全局信息的能力。中期融合寻求合并来自多个信息源的特征，生成统一的特征集，增强了信息在信息源间的传播，并交互式地优化了特征提取过程。与早期融合和晚期融合架构相比，中期融合架构表现出更加优越的性能（图4B）。
图4 基于三种数据融合架构的MMI模型识别肺部感染性疾病的性能
进一步，研究团队收集肺部感染性患者多模态数据，将该模型与两组具有不同年资的临床医生进行对比。结果显示，MMI模型的平均加权误差为13.52%，高年资组医生为8.98%，低年资组医生为24.10%，这表明MMI模型在肺部感染性疾病诊断方面的性能可与具有丰富临床经验的医生相媲美（图5）。
图5 多模态融合MMI模型与临床医生诊断性能的比较
MMI模型在常见肺部感染病原体的预测上也显示出良好的诊断潜力。对于呼吸道合胞病毒、冠状病毒、流感病毒等常见呼吸道病毒，MMI模型的平均AUC为0.850（95% CI: 0.839-0.859）。在预测肺炎链球菌、结核分枝杆菌、流感嗜血杆菌等多种细菌病原体时，平均AUC为0.847（95% CI: 0.834-0.861）（图6）。这种对不同病原体亚型的准确区分，可辅助医护人员及时诊断并针对性使用抗菌药物。
图6 多模态融合MMI模型在预测不同病毒和细菌病原体方面的性能
此外，预警危重症也是MMI模型在肺部感染性患者诊疗中的重要应用（图7），MMI模型在识别重症肺部感染性疾病患者方面表现优异，AUC为0.918（95% CI: 0.905-0.930）。研究团队评估了肺部感染性疾病患者危重预后的相关因素，并可视化了多维度特征在预警预后中的重要性。值得注意的是，年龄、性别、白蛋白、CRP及血小板计数等多个临床参数是患者病情进展重要的预后指标。及时准确的危重症预警有助于临床及时决策干预，进而改善肺部感染性患者的预后。
图7 肺部感染性患者危重症预警的相关因素
肺部感染性疾病是最常见的呼吸系统疾病，疾病负担重。早期精准诊断并针对不同病原体进行针对性的治疗，可有效降低重症肺部感染性疾病的发生率。以深度学习为代表的AI技术快速发展，可挖掘不同病原体对应的影像学特征。本文创新多模态融合MMI模型，精准诊断肺部感染性疾病，快速锁定病原体，融合多维特征实现重症提前预警，有助于临床及时决策干预，改善肺部感染性患者的预后，为肺部感染性疾病精准诊疗提供新思路。