陈浩宇/付华柱团队联合开发视网膜疾病诊断的基础模型，增强医学AI的可靠性
陈浩宇/付华柱团队联合开发视网膜疾病诊断的基础模型，增强医学AI的可靠性
视网膜疾病是常见的不可逆性致盲眼病，早期诊断和及时治疗是防止患者视力丧失的关键。既往研究表明，人工智能（AI）联合光学相干断层扫描（OCT）图像可以辅助诊断视网膜疾病，且在多种常见眼底病的分类任务中取得了重要成果。然而，传统AI模型在真实世界应用中仍面临无法表达预测结果的置信度、无法检测未见过的分布外数据（Out of distribution, OOD）的问题，导致医生无法对模型的可靠性进行判断，容易出现误诊和漏诊，从而产生医疗风险，限制了AI技术在真实世界临床实践中OCT图像检测的应用。
2024年12月19日，汕头大学·香港中文大学联合汕头国际眼科中心陈浩宇教授团队与新加坡科技研究局付华柱教授团队合作，在Cell Press细胞出版社期刊Cell Reports Medicine上在线发表了一篇题为“Enhancing AI Reliability: A Foundation Model with Uncertainty Estimation for Optical Coherence Tomography-based Retinal Diseases Diagnosis”的研究论文。该研究针对传统人工智能（Artificial intelligence, AI）模型在视网膜光学相干断层扫描（Optical coherence tomography, OCT）图像中的开放集检测问题，研发了基于不确定性估计的基础模型FMUE。
本研究由汕头大学·香港中文大学联合汕头国际眼科中心陈浩宇教授和新加坡科技研究局付华柱教授担任共同通讯作者，安徽医科大学彭圆圆副教授、汕头大学·香港中文大学联合汕头国际眼科中心博士生林艾迪和新加坡国立大学王猛博士后担任该论文的共同第一作者。该研究工作得到了国家重点研发计划、A*STAR职业发展基金、国家自然科学基金、广东省教育厅等项目的资助。
为解决上述问题，研究团队使用正常眼底和15种视网膜疾病的82813张OCT图像，开发了一个基于不确定性估计的基础模型（Foundation Model with Uncertainty Estimation, FMUE）。该模型不仅能够输出预测结果，还能提供相应的不确定性分数，以表明预测结果的置信度。结合最佳阈值策略，模型通过输出高于阈值的不确定性分数，提醒医生对这些高不确定性样本进行二次评估，从而减少误诊和漏诊（见图1）。
图1 FMUE模型研发流程图
为评估FMUE模型对16种视网膜OCT图像的疾病诊断能力，本研究在多个测试集上进行性能测试，并与其他多种AI模型（RETFound、Swin transformer、Ensemble、UIOS和GPT-4V）以及30位不同年资的眼科医生进行了比较。结果显示，在内部测试集中，FMUE模型的平均F1分数达到95.74%，高于其他多种AI算法（92.03%-93.66%）。移除不确定性分数高于阈值的样本后，模型的分类性能进一步提升，F1分数提升至97.44%。在两个外部测试集（来自外单位和公开测试集）中，FMUE模型也实现了类似的优异性能。在人机比赛中，FMUE模型的诊断性能优于GPT-4V模型，且超越了不同年资眼科医生的诊断水平。逻辑回归分析结果显示，不确定性分数超过阈值的样本被模型预测错误的风险更高。
此外，研究团队纳入了来自多个临床中心和公开数据集的非目标类别图像和低质量数据，建立了三个OOD数据集，用于检验模型检出OOD数据的能力。结果显示，FMUE模型对OOD样本的检出率超过85%，其检测能力优于Ensemble和UIOS模型。
综上所述，本研究构建了基于不确定性估计的基础模型FMUE，在视网膜OCT图像中对15种眼底病和正常眼底的诊断准确性高于其他多种AI模型和不同年资的眼科医生。该模型不仅能通过输出不确定性分数来表达其预测结果的置信度，还能检测出训练过程中未见过的OOD数据，可为真实世界中开放集OCT图像的自动检测提供一种更准确、更可靠的方法。
作者专访
Cell Press细胞出版社特别邀请本文的通讯作者陈浩宇教授进行了专访，请他为大家进一步解读。
CellPress：
您为什么选择开放集OCT图像检测作为研究方向？这其中有什么机遇和挑战？
陈浩宇教授：
首先，从临床痛点出发，开放集问题是传统人工智能模型实现真正落地应用的重大障碍。传统AI模型的建立往往基于闭合集，即测试类别和训练类别是完全一致的。然而，在真实世界的应用中，模型不可避免地会遇到训练过程中未见过的数据，称为分布外数据（OOD），例如训练类别以外的疾病或低质量图像等。在这种情况下，传统模型会将OOD数据误判为某种训练类别，造成结果的误判，容易导致误诊和漏诊。其次，传统AI模型仅能提供预测的诊断结果，而无法表达其对预测结果的置信度，导致医生无法对模型的可靠性进行判断。这启发我们从传统AI模型在开放环境应用中存在的问题入手，将不确定性估计理论引入OCT图像多分类任务，构建了FMUE模型，以应对开放集OCT图像检测问题，促进AI技术在真实世界中的应用。
CellPress：
与已报道的RETFound模型相比，本研究建立的FMUE模型有何优势？
陈浩宇教授：
RETFound模型是一种专门针对视网膜图像设计的基础模型，通过自监督学习在大量视网膜OCT图像上进行预训练。与RETFound模型相比，FMUE模型的主要优势在于其集成了不确定性估计理论，使得模型不仅能够提供诊断结果，还能通过输出不确定性分数来表达预测结果的不确定性。这种不确定性度量对于医生来说是一个重要的参考，可以帮助识别特征不明显、误诊风险较高的样本，以及在训练过程中未见过的OOD数据。通过这种方式，FMUE模型降低了误诊的风险，提高了医疗决策的准确性与安全性。
CellPress：
基于本研究的成果，您觉得接下来还有哪些值得深入探索的方向？
陈浩宇教授：
本研究属于回顾性研究，未来我们拟开展多中心前瞻性临床研究，纳入来自不同种族和国家的数据，以增强模型在不同人群中的适用性，并评估FMUE模型在真实世界中进行疾病诊断的有效性。此外，我们将结合其他影像模态图像以及临床文本数据，建立结合不确定性的多模态影像的AI模型，从而提高视网膜疾病的诊断性能。
作者介绍
陈浩宇
教授
通讯作者：陈浩宇，汕头大学·香港中文大学联合汕头国际眼科中心副院长。从事眼科学，尤其是玻璃体视网膜疾病和眼外伤的医疗、教学、科研工作，年手术量2000台。作为项目负责人承担国家自然科学基金2项，发表SCI论文184篇，其中第一作者或通讯作者98篇。发表中文论文40篇，其中第一作者/通讯作者15篇，H指数43（Google Scholar）。主编专著4本，主译1本，主编科普书籍1本。获得发明专利10项，其中美国发明专利2项。担任SCI收录期刊Eye副主编、APJO、International Ophthalmology、BMC Ophthalmology编委。2016年获得亚太眼科学会成就奖、2018年获得中国医师协会眼科医师分会第九届全国优秀眼科医师奖、2016-2019连续四年获得Publons同行评议奖（医学领域审稿人全球前1%），2018 江苏省科学技术奖二等奖、2020年获得吴文俊人工智能技术发明奖一等奖。担任汕头大学医学院眼科学全英教学模块负责人，作为负责人完成Ophthalmology全英慕课在教育部慕课平台上线。培养的学生多次在全国、全省、校级竞赛/评比中获奖。担任中华医学会眼科学分会眼外伤学组委员、广东省医师协会眼科学分会副主任委员等。入选广东省特支计划和扬帆计划。多次在国际学术会议上担任主持人和进行特邀演讲。
付华柱
教授
共同通讯作者：付华柱，新加坡科技研究局（A*STAR）高性能计算研究所（IHPC）主任研究员。主要研究方向为计算机视觉、医学图像分析和可信人工智能等。至今已在 Nature Machine Intelligence、Nature Communications、Cell Reports Medicine、IEEE TPAMI 等期刊和会议上发表论文200 余篇，Google Scholar引用2.6万余次。获科睿唯安2024 年“Highly Cited Researcher”，斯坦福2020-2024年全球Top 2% Scientists，2021 年ICME最佳论文奖、2022年MICCAI OMIA最佳论文、2023年MICCAI DeCAF最佳论文、2024年MICCAI OMIA最佳论文等。现担任IEEE Transactions on Medical Imaging (TMI)，IEEE Transactions on Neural Networks and Learning Systems (TNNLS)，Pattern Recognition (PR) 和IEEE Journal of Biomedical and Health Informatics (JBHI) 等期刊编委（Associate Editor），以及IEEE Bio Imaging and Signal Processing Technical Committee (BISP TC)“Students & Young Professionals”Subcommittee Co-Chair。
彭圆圆
副教授
第一作者：彭圆圆，安徽医科大学副教授，主要研究方向为人工智能、深度学习、医学图像处理与分析。以第一作者发表SCI论文7篇, 包括TMI，BOE等。申请并获得2项国家发明专利。
林艾迪
博士研究生
共同第一作者：林艾迪，汕头大学·香港中文大学联合汕头国际眼科中心博士，主要研究方向是玻璃体视网膜疾病、医学图像处理与分析、人工智能研究。以第一/共同第一作者发表SCI论文5篇，申请并获得国家发明专利1项。
王猛
博士后
共同第一作者：王猛，新加坡国立大学Research Fellow。担任IEEE Journal of Biomedical and Health Informatics和Frontiers in Medicine客座编辑。主要研究方向为计算机视觉、医学图像分析和可信人工智能等。以第一/通讯作者发表SCI收录文章10余篇，包括Nature Communications、Cell Reports Medicine、IEEE Transactions on Pattern Analysis and Machine Intelligence、IEEE Transactions on Medical Imaging等国际顶级期刊，参与编写专著1部。
本文原文来自Cell Press细胞出版社