浙江大学发布人机交互AI病理诊断大模型OmniPT，推动数字病理智能化临床应用

浙江大学发布人机交互AI病理诊断大模型OmniPT，推动数字病理智能化临床应用

病理诊断是疾病诊断的“金标准”，而我国面临病理诊断人才严重匮乏的窘境。近年来，癌症发病率不断攀升，如何借助AI赋能医生精准诊断，提高工作效率及医疗质量，成为当前世界病理学科的前沿热点。近日，浙江大学发布了视觉与语言模型融合的人机交互AI病理万能助手OmniPT，该模型已在浙江大学医学院附属第一医院（以下简称“浙大一院”）病理科进行临床应用验证，病理诊断技术进入了智能化与个性化的新时代。

浙大一院章京教授在2024年中国病理医师年会上首次对外展示OmniPT的功能

技术突破解决临床应用难题

超大尺寸病理图蕴含多层级丰富信息，如何精准、快速给出可信诊断结果是病理大模型需要解决的核心难题。研发团队通过跨层级高效特征锁定、提示引导细节特征补全等关键技术突破，解决GB级超大尺寸病理图秒级推理、精准分析难题；进一步地，通过多任务协同分析技术，将文本语义与视觉特征强关联，首次实现分类、分割、检测等多类型诊断任务全覆盖，为病理报告一键生成提供支撑。通过集成上述核心技术，病理万能诊断助手OmniPT有效满足临床人机交互诊断分析实时、精准、可信需求。

技术负责人冯尊磊副教授介绍：“以往医生在分析病理切片时，需要耗费大量时间逐一观察微观细节，而OmniPT可以在不影响推理速度的情况下，1~3秒内准确锁定病灶区域，十余个癌种上取得95%以上诊断准确性。此外，OmniPT支持文本输入、视觉框选等多种便捷交互方式，能够实现从全局到局部多尺度病变特征精准锁定，给文本诊断结果提供视觉特征依据，有效解决临床应用可信诊断难题”。这一成果将进一步推动智能化病理诊断的临床应用进程，为患者提供更高质量的医疗服务。

前沿领域探索：从癌症诊断到肿瘤标志物挖掘

OmniPT目前已在癌症分型、分级、血管及神经侵犯识别、预后标志物发现等多项核心任务中取得突破性进展。在肿瘤病理诊断中，OmniPT可精准识别肿瘤微环境的各种细胞及组织，并进行精细化分析；进一步地，OmniPT衍生预后分析能力，在多个癌种上达到80~90%预后精准预测，并从病理表型层面智能化挖掘预后关联多个新型标志物，有效辅助临床个体化治疗。实验数据显示，OmniPT的整体性能显著优于目前国际上发布的主流病理模型，为复杂病理诊断分析、肿瘤预后标志物挖掘提供了可靠的智能化解决方案。

未来愿景：构建智能化病理生态

数据质控负责人张秀明医生表示：“高质量病理数据是OmniPT构建的基石，随着算力规模的提升和更多癌种数据样本的扩充，OmniPT将在更广泛的临床场景中应用，为病理医生减负的同时，为患者带来更精准和高效的医疗体验。”

依托数字病理人工智能医疗器械临床试验中心，OmniPT已在浙大一院病理科多个高发病率癌种率先应用，同步在神经病理（如阿尔茨海默病）等重大慢病领域开展结合液体活检、基因组学的多模态转化研究，未来将拓展到更多癌种及非肿瘤疾病中的应用。进一步地，通过结合底层数字病理扫描设备以及病理远程诊断场景，OmniPT将成为病理科高效、精准诊断智能助手，加快推动AI技术在真实临床场景应用建设进程。