科学家构建多模态LLM框架，进行3D脑CT放射学报告生成

科学家构建多模态LLM框架，进行3D脑CT放射学报告生成

在医疗AI领域，多模态大型语言模型（MLLM）正在推动放射学报告生成技术的革新。近期，来自台北荣民总医院、台湾阳明交通大学和美国加州大学的研究团队开发了一种名为BrainGPT的新型MLLM模型，专门用于3D脑CT影像的放射学报告生成。该研究发表在《Nature Communications》上，不仅展示了BrainGPT在性能上的突破，还提出了一套创新的评估方案FORTE，为医学影像AI的发展开辟了新路径。

研究背景与挑战

虽然基于2D MLLM的放射学报告生成（RRG）技术已经取得显著进展，但其在3D医学影像中的应用仍面临诸多挑战。当前的MLLM在放射学应用中存在以下局限：

1. 主要集中在胸部X光（CXR）模式，缺乏足够的病变多样性
2. 体积扫描的解释能力尚未充分开发
3. 缺乏统一的评估指标来衡量报告的质量

BrainGPT：专为3D脑CT设计的MLLM模型

为了解决上述问题，研究团队开发了BrainGPT模型，并构建了一个包含18,885个文本扫描对的3D-BrainCT数据集。该模型基于开源Otter框架，通过临床视觉指令调整（CVIT）来增强其医学领域知识。

FORTE：面向特征的放射学任务评估方案

传统评估指标难以准确反映医学影像报告的复杂性。为此，研究团队提出了FORTE评估方案，通过句子配对、否定删除和关键词提取等方法，更全面地评估MLLM生成的报告质量。FORTE框架在多个维度上与人类专家评估和DocLens评分表现出中等到高度的相关性。

性能与优势

BrainGPT在FORTE评估中的平均F1得分为0.71，其中在类图灵测试中，74%的生成报告与人类书写的基本事实无法区分。与现有方法相比，BrainGPT具有以下优势：

1. 训练效率更高：仅需12小时即可在两个NVIDIA A100 GPU上完成微调
2. 成本更低：基于开源框架，无需昂贵的TPUv4加速器
3. 性能更优：在脑CT字幕制作方面优于其他RVIT模型

展望与局限

尽管BrainGPT展现了强大的潜力，但仍存在一些局限：

1. 作为试点研究，缺乏直接的MLLM模块基准对比
2. 训练数据主要来自退化导向数据，未能涵盖所有疾病类型
3. 未来可探索多模型结果比较和视觉编码器微调等方向

这项研究不仅推动了医学影像AI技术的发展，更为临床医生提供了更准确、高效的辅助诊断工具，有望在未来为患者带来更好的医疗服务体验。

本文原文来自Nature Communications，原文标题为「Towards a holistic framework for multimodal LLM in 3D brain CT radiology report generation」。