资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

medIKAL-知识图谱增强大模型以提升电子病历临床诊断能力

创作时间:

作者:

@小白创作中心

medIKAL-知识图谱增强大模型以提升电子病历临床诊断能力

引用

CSDN

https://blog.csdn.net/m0_59164520/article/details/145282512

电子病历（EMR）在现代医疗中虽然不可或缺，但由于其复杂性和信息冗余性，给临床推理和诊断带来了挑战。为解决这一问题，研究者提出了medIKAL框架，该框架结合了大型语言模型（LLMs）与知识图谱（KGs），以提升诊断能力。通过广泛的实验验证，展示了其在真实世界环境中改善临床诊断的潜力。

核心速览

研究背景

研究问题：这篇文章要解决的问题是如何利用知识图谱（Knowledge Graphs, KGs）来增强大型语言模型（Large Language Models, LLMs）在电子病历（Electronic Medical Records, EMRs）中的临床诊断能力。
研究难点：该问题的研究难点包括：EMRs的复杂性和信息冗余性导致的临床推理和诊断困难；LLMs缺乏特定医学知识，容易生成错误知识；现有的“LLM + KG”方法在应用于EMR诊断任务时存在局限性。
相关工作：该问题的研究相关工作有：利用LLMs进行疾病诊断和预测的研究；将知识图谱与LLMs结合的研究，包括嵌入表示、提示模板和迭代策略等方法。

研究方法

这篇论文提出了medIKAL（Integrating Knowledge Graphs as Assistants of LLMs）框架，用于解决EMR诊断中的问题。具体来说，

EMR摘要和直接诊断：首先，设计了一系列问题提示LLMs对EMR进行关键信息摘要，包括患者症状、病史、用药情况、就诊记录等。
基于LLM的初步诊断：基于分解和摘要后的EMR，允许LLM依赖其内部知识进行初步诊断，得到一组可能的疾病
候选疾病定位和重排：

实体识别和匹配：使用预训练的NER模型对摘要后的EMR进行实体识别，然后将每个实体链接到知识图谱中对应的节点。
基于实体类型的候选疾病定位：根据实体的类型分配不同的贡献权重，搜索知识图谱中1跳邻居的疾病节点，并根据权重调整疾病节点的得分。
基于路径的候选疾病重排：定义表示疾病i与实体j在知识图谱上的最短路径距离，距离越短的疾病被认为与患者信息的相关性越强。

LLM和KG知识的协同推理：重建知识图谱信息，将其转化为半结构化表示，提供给LLM进行协同推理。设计了基于填空模板的提示，使LLM能够定量评估特定疾病与各个方面的相关性，并计算总分。

实验设计

数据集构建：构建了CMEMR（Chinese Multi-department Electronic Medical Records）数据集，包含来自中文医疗网站的10450条EMR记录。为了验证方法的有效性，还选择了CMB-Clin、GMD和CMD三个数据集作为补充。
基线方法：比较了medIKAL与三类基线方法：仅使用LLM的方法、LLM+KG的方法和LLMNG的方法。
评估指标：采用国际疾病分类（ICD-10）作为权威源，通过模糊匹配过程将诊断结果与ICD-10术语关联，计算精确率（Precision）、召回率（Recall）和F1值（F1-score）。
实现细节：选择Qwen模型作为骨干模型，使用CPubMed-KG作为知识图谱，RaNER模型进行实体识别，CoROM模型进行实体节点匹配。

结果与分析

整体性能：在CMEMR数据集上的主要实验结果显示，medIKAL方法在使用LLM+KG范式时显著优于其他基线方法，证明了其在EMR诊断任务中的有效性。

深入分析：不同知识图谱增强提示对medIKAL性能的影响显示，使用相关实体效果不佳，而medIKAL能够最小化模型对知识图谱知识的过度依赖，保留大部分有用预测。
消融研究：通过消融实验展示了不同模块的重要性，去除摘要模块和实体类型权重模块会严重影响性能，而去除重排模块会导致结果完全依赖于知识图谱搜索过程。

总体结论

本文提出了medIKAL框架，通过加权实体类型和类似残差的集成方法，显著提高了LLMs在EMR中的临床诊断能力。实验结果表明，medIKAL在真实世界临床设置中有潜力提高诊断准确性和效率。medIKAL为AI辅助临床诊断提供了一个有前景的方向，为更先进的医疗保健应用铺平了道路。

论文评价

优点与创新

提出了一个新的框架：medIKAL（Integrating Knowledge Graphs as Assistants of LLMs），将大型语言模型（LLMs）与知识图谱（KGs）结合，以提高电子病历（EMR）诊断的准确性。
加权实体识别：根据实体的类型对医疗记录中的实体进行加权，使得在知识图谱中准确定位候选疾病成为可能。
残差网络集成方法：创新性地采用类似残差网络的方法，允许大型语言模型在没有外部知识的情况下进行初步诊断，然后将诊断结果与知识图谱的搜索结果合并。
基于路径的重排序算法：通过基于路径的重排序算法进一步细化诊断过程。
特殊提示模板设计：设计了特殊的填空式提示模板，帮助大型语言模型更好地推理和纠错。
开源数据集引入：引入了一个开源的中国电子病历数据集CMEMR，解决了高质量开源中文电子病历数据缺乏的问题。
实验验证：在收集的电子病历数据集上进行了广泛的实验，证明了medIKAL的有效性。

不足与反思

数据集局限性：尽管仔细检查、去敏感化和验证了CMEMR数据集，但偶尔医疗记录的质量在实际实验中可能仍不足。此外，由于数据来源有限，医疗记录数据集在不同科室之间的分布不均匀。
框架局限性：尽管medIKAL在医疗领域展示了其有效性和巨大潜力，但它仍然存在一些局限性。首先，虽然它不限于EMR格式输入，但它需要输入数据样本中的大量信息。当输入数据信息稀疏时，medIKAL提高模型推理性能的效果会降低，并且增加了产生幻觉的风险。此外，medIKAL无法完全利用医疗测试结果的数值类型进行计算。解决此问题是未来工作的关键。

关键问题及回答

问题1：medIKAL框架在处理EMR数据时，如何利用知识图谱（KGs）来增强大型语言模型（LLMs）的诊断能力？

medIKAL框架通过以下几个步骤利用知识图谱来增强LLMs的诊断能力：

实体识别和匹配：首先，使用预训练的NER模型对摘要后的EMR进行实体识别，然后将每个实体链接到知识图谱中对应的节点。
基于实体类型的候选疾病定位：根据实体的类型分配不同的贡献权重，并在知识图谱中搜索相关疾病节点，更新每个疾病的得分。例如，症状实体可能比药物实体对诊断的影响更大，因此分配更高的权重。
基于路径的候选疾病重排：定义疾病节点与实体节点之间的最短路径距离，距离越短的疾病被认为与患者信息的相关性越强。通过这种方式，进一步筛选和排序候选疾病。
协同推理：重建知识图谱信息，将其转化为半结构化表示，提供给LLM进行协同推理。设计了填空白式的提示模板，指导LLM定量评估特定疾病与各个方面的相关性，并计算总分。

通过这些步骤，medIKAL框架能够有效地利用知识图谱来增强LLMs的诊断能力，使其在处理复杂的EMR数据时更加准确和高效。

问题2：medIKAL框架在实验中如何验证其有效性，使用了哪些数据集和评估指标？

数据集：

CMEMR数据集：构建了一个名为CMEMR（Chinese Multi-department Electronic Medical Records）的中国多科室电子病历数据集，包含10450条EMR记录，涵盖多个科室。
补充数据集：为了进一步验证方法的有效性，还选择了以下三个数据集作为补充：
CMB-Clin：包含74条高质量、复杂的真实EMR记录。
GMD：包含目标疾病及其显性和隐性症状信息的数据集。
CMD：包含更多种类疾病和症状的数据集，是GMD数据集的后续版本。

评估指标：

采用国际疾病分类（ICD-10）作为权威源，通过模糊匹配过程将诊断结果与ICD-10术语关联，计算精确率（Precision）、召回率（Recall）和F1值（F1-score）。具体计算过程包括：
提取诊断结果中的疾病实体和EMR中的标签。
通过模糊匹配过程将疾病实体与ICD-10术语关联，构建两个标准化疾病集和。
计算True Positives (TP)、False Positives (FP) 和 False Negatives (FN)，并根据这些值计算Precision、Recall和F1-score。

通过这些数据集和评估指标，medIKAL框架能够在实际应用中验证其有效性和优越性。

问题3：medIKAL框架在实验中表现如何，与其他基线方法相比有哪些优势？

整体性能：在CMEMR数据集上的主要实验结果显示，medIKAL方法在使用LLM+KG范式时显著优于其他基线方法，证明了其在EMR诊断任务中的有效性。具体来说，medIKAL在精确率、召回率和F1值上均表现出色。
深入分析：

不同知识图谱增强提示的影响：使用相关实体效果不佳，而medIKAL能够最小化模型对知识图谱知识的过度依赖，保留大部分有用预测。这表明medIKAL在利用知识图谱的同时，还能保持LLMs的内部知识。
消融研究：通过消融实验展示了不同模块的重要性，去除摘要模块和实体类型权重模块会严重影响性能，而去除重排模块会导致结果完全依赖于KG搜索过程。这进一步证明了medIKAL框架各模块的协同作用。