浙大、复旦、上交大联手打造智能医学未来

浙大、复旦、上交大联手打造智能医学未来

在日新月异的科学技术所带来的颠覆性变革中，医疗领域正在悄然变化着。从看病历、开处方到做手术，以AI为代表的智能科技已经深入生命健康的各个环节，从看病向“未病”延展。在昨天举行的2024生命健康大会上，专家聚焦科技创新赋能生物医药产业这一主题，碰撞思想火花。融合了先进的大数据与云计算、人工智能等技术的智能医学，关注的不仅是疾病，更是生命的本质。正如复旦大学管理学院院长陆雄文所说，在对人类健康的探索上，全球不遗余力，不分赛道。

浙江大学联合微软亚洲研究院提出了一种全新的统一医学图像预训练框架UniMedI。它利用诊断报告作为公共语义空间，可为不同模态的医学图像创建统一的表示，成功整合了2D和3D图像，使复杂的医学数据被更好地利用。

让AI在某些条件下具备类似人类的反应能力，从而代替人类高效地从事特定工作，是AI领域研究人员孜孜不倦的追求。正如在医学图像和人工智能的交叉领域，基于视觉语言预训练的深度模型（Visual-Language Pre-training, VLP）凭借其自动化的特点，可以在大量图像及对应文本的数据集上进行预训练，并学会自动从新的图像中提取相关特征，可高效地解决费时费力的人工注释需求。然而，尽管VLP在医疗领域已经取得了一定程度的成功，但在进一步扩大其应用的数据规模时，仍然面临着诸多挑战。

首先，现有模型训练大多主要以单模态数据（主要是2D图像，如X光片）为主，这与包含多模态图像（包含2D和3D图像，如CT、MRI图像等）的真实医学场景并不相符；其次，不同模态的医学图像固有的异质性也阻碍了它们的有效协作和整合。此外，医学图像不同模态的数据还存在维度差异、缺乏成对数据等。因此，如何构建一个统一的模型，并将这些不同模态的数据有效映射至共同空间，实现联合学习，成为了一个极具挑战性的课题。

为了解决上述问题，浙江大学胡浩基团队联合微软亚洲研究院邱锂力团队提出了一种全新的统一医学图像预训练框架UniMedI。它利用诊断报告作为公共语义空间，可为不同模态的医学图像创建统一的表示，此外，它还引入创建「伪配对」(Pseudo-Pairs)的技术，在文本的指导下，UniMedI能够从复杂的3D图像中选择与该文本相关的2D切片，这些切片充当桥接2D和3D数据的伪对，可增强各种医学成像模式之间的一致性，有效整合医学多模态图像。

相关研究成果以「Unified Medical Image Pre-training in Language-Guided Common Semantic Space」为题，收录于计算机视觉和机器学习领域的顶会ECCV 2024。

复旦大学类脑智能科学与技术研究院冯建峰教授研究团队发布了数字孪生脑（Digital Twin Brain：DTB）平台，这是国际上首个基于数据同化方法开发的具备860亿神经元规模、百万亿突触的全人脑尺度大脑模拟平台。通过平台研究工作发现，数字孪生脑在规模与结构上越接近人类大脑，会逐渐展现出类似在人脑中观测到的临界现象与相似的认知功能。

该研究成果以《类脑计算模拟和探索人类大脑的静息和任务状态：尺度与结构》“Imitating and exploring human brain's resting and task-performing states via resembling brain computing: scaling and architecture”为题，发表在《国家科学评论》（National Science Review, NSR）。该文将作为封面文章收录于NSR“人类大脑计算与类脑智能”专题。

上海交通大学团队创建了一个包含255亿tokens的多语言医疗语料库MMedC，开发了一个覆盖6种语言的多语言医疗问答评测标准MMedBench，同时还构建了一个8B的基座模型MMed-Llama 3。该模型在多项基准测试中表现卓越，显著超越了现有的开源模型，特别适用于医学垂直领域的定制微调。

医疗健康是关系民生的重大问题，如何用人工智能技术辅助医生工作，提升医疗服务效率、质量与公平成为全球关注的焦点。然而，尽管众多研究者投入了大语言模型在医疗领域的应用，当前的大部分模型仍然主要依赖于英语基座模型和训练数据，缺乏处理多语言医疗专业数据的能力，且性能距离临床应用要求仍有较大距离。为了克服这一挑战，研究团队提出了一系列创新解决方案，包括：创建了一个包含255亿tokens的多语言医疗语料库MmedC；开发了一个涵盖六种语言、21种医学子领域的多语言医疗问答评测基准MmedBench；开源了多语言医疗基座模型MMed-Llama 3，该模型在多项基准测试中表现卓越，显著超越了现有的开源模型，特别适用于医学垂直领域的定制微调。

这些科研成果正以前所未有的速度推动智能医学的发展，为未来的医疗健康行业带来革命性的变化。正如复旦大学管理学院院长陆雄文所说，在对人类健康的探索上，全球不遗余力，不分赛道。而中国高校在智能医学领域的这些突破，无疑为全球医疗健康事业注入了新的活力和希望。