CopilotCAD：放射科医生的临床辅助多模态大模型Copilot

CopilotCAD：放射科医生的临床辅助多模态大模型Copilot

论文标题：
CopilotCAD：通过医学图像基础模型为放射科医生赋能的报告完成模型和定量证据

论文链接：
https://arxiv.org/pdf/2404.07424

核心速览

CopilotCAD 是一款创新的辅助诊断系统，它结合了大型语言模型 (LLM) 和医学图像基础模型，通过人机协作的方式，提高放射科医生的报告完成效率和诊断准确性，并减轻医生的负担。

研究背景

这篇文章要解决的问题是如何通过计算机辅助诊断（CAD）系统增强放射科医生的诊断能力和效率。传统的CAD系统主要通过文本报告生成或医学图像分类来提供诊断结果，忽略了放射科医生的专业知识。

该问题的研究难点包括：诊断结果的可解释性、透明性和安全性；CAD系统与人类专家之间缺乏交叉通信；现有CAD系统在生成详细诊断报告方面存在局限性。

现有的CAD系统大多处于L1（辅助）到L4（高度自动化）之间的自主水平，而本文提出的CopilotCAD系统则定位于L2到L3（半自动化）之间的自主水平，旨在通过AI和人类专家的协同工作来提高诊断的精确性和效率。

研究方法

这篇论文提出了CopilotCAD系统，用于解决放射科医生在生成诊断报告时的效率和准确性问题。具体来说，

• 整体框架：CopilotCAD系统通过一个结构化框架来优化放射科诊断过程，整合了LLM（大型语言模型）和医学图像基础模型。系统的整体架构包括LLM、医学图像分析模型和一个界面，用于促进AI系统和人类专家之间的交互。

• 医学图像分析：系统首先将医学图像输入系统，利用类似于CLIP架构的选择机制动态选择最适合的医学图像基础模型。然后，系统进行详细的图像分析，包括分割图像以识别和标记不同的解剖结构，并进行关键词检测。

• 信息提示：从医学图像分析中生成的定量证据（如器官体积、形状、强度和纹理特征）被呈现在界面中，与分割图像一起突出显示不同器官。这些信息作为LLM的提示，帮助生成更准确的诊断报告建议。

• 训练数据集构建：CopilotCAD的训练采用指令调优方法，每个训练项由一个结构化的三元组组成：”指令、输入、目标”。”输入”来自图像处理阶段的信息，”目标”是对应器官的诊断报告部分。使用腹部CT图像作为代表性示例，模型不仅包括简单的分割，还包括放射学和统计分析。

实验设计

• 数据集：实验使用了22,109份CTU扫描的文本报告。数据集包括不同年龄段、报告长度、种族、性别分布以及各种病理发现和异常情况的详细信息。

• 报告完成任务：评估了CopilotCAD在报告完成任务中的性能，使用BLEU和ROUGE指标比较生成的报告与实际报告。数据集包括肾脏、肺部、膀胱和阑尾报告的子集。

• 泛化能力：展示了CopilotCAD在其他器官和图像模态上的应用，证明了其兼容性和通用性。

• 成本分析：计算成本方面，CopilotCAD使用较小的模型，计算需求较低。数据集构建方面，利用OpenAI的ChatGPT API自动提取相关报告部分，每1,000个文本报告的处理成本较低。

结果与分析

• 报告完成质量：实验结果表明，CopilotCAD在报告完成任务中表现出色，特别是在结合放射学信息的模型中，BLEU-4和ROUGE评分显著提高。例如，结合放射学信息的模型在肾脏报告数据集上的BLEU-4评分为0.384，ROUGE评分为0.845。

• 泛化能力：CopilotCAD能够很好地扩展到其他器官和图像模态，证明了其在不同诊断工具上的兼容性。

• 计算成本：CopilotCAD的计算成本较低，训练一个2B模型只需不到30分钟，使用的计算资源较少。

总体结论

这篇论文提出了CopilotCAD系统，通过整合LLM和医学图像基础模型，增强了放射科医生在生成诊断报告时的效率和准确性。实验结果表明，CopilotCAD在报告完成任务中表现出色，能够显著提高诊断报告的质量。此外，系统还展示了良好的泛化能力和较低的计算成本。尽管存在一些技术限制，如对图像分析模型的依赖、响应延迟和零样本学习能力的局限，但CopilotCAD展示了在放射科诊断中实现人工智能和人类专家协同工作的巨大潜力。

论文评价

优点与创新

• 建立辅助角色：提出了一个框架，通过将计算机辅助诊断系统与人类专家的决策过程相结合，增强了跨通信，使CAD系统成为医生的辅助工具。

• 优化AI辅助：通过结合大型语言模型（LLMs）和医学影像基础模型，生成了有信息的提示，指导LLMs，从而提高了诊断报告的准确性和详细性。

• 初步结果令人鼓舞：从放射学报告质量（报告完成）的角度验证了新系统的潜力，展示了其在定性和定量方面的改进。

• 交互式界面：提供了一个友好的界面，促进了基于图像的交互式诊断，使放射科医生能够利用AI生成的定量数据和视觉辅助工具做出明智的决策。

• 计算效率：使用较小的模型来协助放射科医生，所需的计算能力较低，类似于L3级别的自动驾驶系统所需的计算资源。

• 数据集构建：利用OpenAI的ChatGPT API自动提取特定器官的相关报告部分，确保了数据集的干净和器官级别配对。

不足与反思

• 依赖图像分析模型：CopilotCAD的功能依赖于医疗图像分析工具的性能，目前这些工具在检测异常方面存在局限，无法检测到多样化和众多的异常。

• 延迟问题：由于报告过程中涉及人类专家，CopilotCAD的响应速度成为一个关注点，目前7B模型在RTX Titan GPU上的响应速度为50个token/秒。

• 零样本学习限制：选择较小模型虽然有利于成本和速度，但牺牲了零样本学习能力，模型对新颖图像分析提示的理解受到限制，需要重新训练以引入新的图像分析。

关键问题及回答

问题1：CopilotCAD系统在医学图像分析方面是如何利用不同的基础模型来提高诊断精度的？

CopilotCAD系统通过集成多种医学图像基础模型来提高诊断精度。具体来说，系统首先将医学图像输入，并利用类似于CLIP架构的选择机制动态选择最适合的医学图像基础模型。例如，对于CT图像，系统可能会选择TotalSegmentator模型来进行解剖结构的分割，或者选择LVM-Med模型来识别病理特征。这些基础模型分别负责不同的分析任务，如分割、关键词检测、几何特征计算和放射学特征提取。生成的定量证据（如器官体积、形状、强度和纹理特征）被呈现在界面中，与分割图像一起突出显示不同器官，作为大型语言模型（LLM）的提示，帮助生成更准确的诊断报告建议。

问题2：CopilotCAD系统在训练过程中如何构建数据集，并且如何利用这些数据集来优化模型性能？

CopilotCAD系统的训练采用指令调优方法，每个训练项由一个结构化的三元组组成：”指令、输入、目标”。具体步骤如下：

• 图像处理：在图像处理阶段，系统对CT图像应用总分割系统，生成每个器官的精确掩码，并结合计算的放射学特征，形成”输入”组件。

• 文本处理：使用大型语言模型（LLM）处理来自放射科医生报告的文本数据，通过提示对齐器官特征，增强数据集和模型的学习。

• 配对阶段：在最终的配对阶段，”输入”（图像分析结果）与”目标”（专家编写的真实报告）匹配，模拟指令调优过程，模型学习预测报告中被遮蔽的部分。

通过这种训练方法，CopilotCAD系统能够生成更准确的诊断报告建议，并持续优化模型性能。实验结果表明，结合放射学信息的模型在肾脏报告数据集上的BLEU-4评分为0.384，ROUGE评分为0.845，显著优于不结合放射学信息的模型。

问题3：CopilotCAD系统在实验中展示了哪些泛化能力，如何证明其兼容性和通用性？

CopilotCAD系统展示了良好的泛化能力，具体体现在以下几个方面：

• 多器官应用：系统能够轻松地扩展到其他器官的分析，如肺部、膀胱和阑尾。例如，使用”TotalSegmentator+放射学”方法，只需修改提示生成规则，就可以适应不同的器官。

• 多图像模态：系统还可以扩展到X光图像，利用分类器进行分析。这表明CopilotCAD系统与多种诊断工具兼容，能够适应不同的图像模态和分析需求。

• 与其他系统的对比：实验结果显示，CopilotCAD系统在报告完成任务中的表现优于其他没有集成AI和人类专家的系统，证明了其在不同诊断工具上的通用性和兼容性。

这些泛化能力表明，CopilotCAD系统不仅适用于特定的器官和图像模态，还能够作为一个通用的辅助诊断工具，与其他诊断系统集成和协作。