AI大模型赋能医疗！北航提出REALM：基于RAG的多模态电子健康记录分析框架

AI大模型赋能医疗！北航提出REALM：基于RAG的多模态电子健康记录分析框架

引用

CSDN

1.

https://blog.csdn.net/m0_65555479/article/details/146457081

在现代医疗领域，电子健康记录（EHR）的分析和预测已经成为提升医疗服务质量的关键技术。然而，如何有效整合和利用临床诊疗过程中产生的多模态数据，一直是一个具有挑战性的问题。近日，北京航空航天大学人工智能研究院团队提出了一个创新性的解决方案——REALM框架，这是一个基于检索增强生成（RAG）的多模态EHR分析框架，通过结合大语言模型（LLM）的语义理解能力和专业医疗知识图谱，显著提升了临床预测的准确性。

研究背景与挑战

医疗领域的数据具有典型的多模态特征，主要包括临床文本记录和多变量时间序列数据。这些数据反映了医生在临床决策过程中对患者的全面评估。然而，传统的深度学习方法往往缺乏专业的医学背景知识，无法准确识别和理解EHR中的关键疾病实体和检验结果。

虽然一些研究尝试通过引入知识图谱来增强模型的医学认知能力，但仍存在以下限制：

1. 主要关注结构化知识的提取，忽视了非结构化数据中的丰富语义信息
2. 仅从结构化数据中提取实体，未能充分利用临床文本和时间序列数据
3. 现有基于LLM的方法存在幻觉问题，可能产生错误或虚构的信息

REALM框架详解

为了解决上述问题，研究团队提出了REALM框架。如图1所示，该框架包含三个主要模块：

多模态EHR嵌入提取

该模块负责将原始的EHR数据转换为深层语义嵌入。具体包括：

1. 时间序列数据处理：采用GRU网络处理时间序列数据，生成嵌入表示
2. 临床文本处理：使用LLM编码器处理临床文本，生成文本嵌入
3. 时间信息处理：通过MLP网络结合正弦余弦变换处理时间戳，生成时间嵌入

RAG驱动的增强流水线

这是REALM框架的核心创新点，主要包含两个子模块：

1. 时间序列RAG模块：如图2所示，该模块通过Z-score方法识别异常特征

对于每个特征，计算其Z-score：

2. 临床文本RAG模块：如图3所示，该模块利用LLM提取疾病实体，并通过后处理机制消除幻觉

实体提取过程可表示为：

通过与知识图谱的语义匹配，计算余弦相似度：

多模态融合网络

如图4所示，该模块采用自注意力和交叉注意力机制，自适应地融合不同模态的信息

融合过程包括以下步骤：

1. 文本和RAG知识融合
2. 自注意力和交叉注意力计算
3. 最终预测

实验结果与分析

主要实验结果

如表2所示，REALM在MIMIC-III数据集上的住院死亡率预测和30天再入院预测任务中都取得了最优性能：

1. 住院死亡率预测：

• AUROC: 86.22±0.81
• AUPRC: 52.64±2.47
• min(+P,Se): 50.92±2.01
• F1: 51.83±2.10

1. 30天再入院预测：

• AUROC: 80.24±1.53
• AUPRC: 52.06±2.64
• min(+P,Se): 51.20±2.50
• F1: 50.58±2.51

消融实验

1. RAG增强效果分析如表3所示，RAG增强显著提升了单模态性能：

• 时间序列：AUROC从83.43提升至84.22
• 临床文本：AUROC从80.11提升至81.01

1. 文本编码器比较如表4所示，Qwen-7B模型在所有指标上都优于BERT和BGE-M3。
2. 数据稀疏性鲁棒性分析如图5所示，REALM在不同数据缺失率下都表现出优越的性能
3. 实体提取质量评估如图6所示，通过XGBoost计算实体重要性，验证了提取实体的有效性

结论与展望

REALM框架成功地将大语言模型的语义理解能力与专业医疗知识图谱相结合，为多模态EHR数据分析提供了一个新的范式。该框架不仅在预测性能上取得了显著提升，而且展现出良好的数据稀疏性鲁棒性，为临床决策支持系统的发展提供了新的思路。

论文代码已开源，项目地址：https://github.com/yhzhu99/pyehr