图模互补：知识图谱与大模型融合综述

图模互补：知识图谱与大模型融合综述

引用

CSDN

1.

https://blog.csdn.net/weixin_45838549/article/details/142343526

知识图谱与大模型的融合是当前人工智能领域的一个重要研究方向。这种融合不仅能够提升大模型的性能和可靠性，还能增强知识图谱的构建和应用能力。本文将从多个维度探讨知识图谱与大模型的互补关系，包括图模互补的动机、大模型如何增强知识图谱、知识图谱如何增强大模型，以及这种融合在实际应用中的表现和未来展望。

图模互补动机

1. 利用知识图谱减轻大模型幻觉
   KELM语料库、通用模型KGPT为大模型提供基于知识图谱转化的真实文本信息

2. 知识图谱提供一种解释和推理知识的手段，用于探究大模型内部复杂的工作步骤和推理过程
   个性化知识库与大模型集成检索框架KnowledGPT，提高了处理复杂搜索和歧义的能力。

3. 知识图谱作为外部检索工具，帮助大模型解决公平、因私和安全等问题
   

大模型增强知识图谱

1. 增强知识图谱构建

• ChatIE、ChatExtract：提示词工程，不涉及微调
• AutoKG：利用预训练大模型自动化构建知识图谱，轻量、高效；以关键字为节点，记录各节点间的相关性权重，根据关键词之间的关联程度建立知识图谱中的边

2. 增强知识图谱补全

• KoPA：知识前缀适配器，将知识图谱结构信息整合到大模型中

3. 增强知识图谱推理

• LLM-ARK：将多条推理任务表示为强化学习序列决策问题，通过全文本环境提示聚合多尺度输入，使大模型获得丰富信息状态的嵌入表示
• LARK：上下文知识图谱搜索和逻辑查询推理两个步骤
• ChatRule：从知识图谱中提取规则样例；通过大模型和提示词生成候选规则；使用CoT推理和规则验证模型进行规则验证；最后通过规则评估器评估规则，更新知识图谱，推导出新的实体或关系

4. 增强知识图谱问答

• ChatKBQA：为图模互补引入了一种新的思想图查询范式
• 微调
• 用大模型将自然语言问题转换为根据候选的逻辑形式
• 最后通过检索转换逻辑形式中的实体信息，生成相对应的SPARQL查询
• KnowPAT：用于处理领域中特定问题回答的偏好对齐框架
• 构建风格偏好集
• 设计新的对齐目标，将大模型偏好与人类偏好对齐
• BYOKG：通用问题回答系统
• 无监督学习，通过图遍历学习未知知识图谱
• 借助大模型生成自然语言问题补充探索语料库
• RAG

知识图谱增强大模型

1. 增强大模型自身性能

1. 知识图谱构建预训练语料库

• TEKGEN语言化管道模型：将实体子图转化为高质量语料库
• 启发式对齐器
• 三元组转换为文本的生成器
• 实体子图创建器
• 删除低质量输出的后处理过滤器
• KGPT：自动对齐知识图谱和文本构建基于知识的语料库KGTEXT

2. 知识图谱内嵌大模型

• K-BERT、KnowBERT：知识增强型预训练模型
• ERNIE：构造结构化知识编码模块，将知识纳入语言理解，显著提高知识驱动的性能
• ERNIE3.0：对ERNIE改进，融合自回归网络和自编码网络，使用大量纯文本和大规模知识图谱进行训练
• SKILL：直接在知识图谱的事实三元组上训练T5模型
• KLMo：集成实体间的细粒度关系的预训练语言模型
• KEPLER：统一知识嵌入和预训练语言表示模型
• KnowGPT：ChatGPT的黑箱知识注入方法
• KANO：基于功能提示的知识图增强分子对比学习方法

2. 增强大模型推理

• CohortGPT：采用链式思维采样策略辅佐领域知识图增强大模型在医学领域推理能力
• QA-GNN：将问题上下文与检索到的知识链接起来，构成一个联合图
• JointLK
• 双向注意力模块：在每个问题标记和每个知识图谱节点之间生成细粒度的双向注意映射，实现不同模态信息的融合
• 动态图裁剪模块：移除无关的图节点进行去噪，以确保模型正确地使用完整和恰当的证据进行推理
• DRAGON：自监督学习策略
• 掩码语言建模（MLM）
• 链接预测

3. 增强大模型检索

• RAG ：通过外部真实知识向量索引来解决大模型无法自我更新知识的问题
• RETRO：解决大模型内存开销过大的问题
• KaLMA：提高大模型的引用生成能力和检索准确性
• 构建基于检索、重新排序和生成的管道
• 提出“Conscious Incompetence”设置
• KMLM：提高隐性知识推理，跨语言知识密集型任务性能改进
• 将三元组信息以代码形式转化为多语言文本
• 在预训练过程中附加文本的结构信息

4. 增强大模型可解释性

• LMExplainer：采用知识图谱和图注意力网络（GAT）提取大模型的关键决策信号，提供全面、清晰、可理解的文本解释
• 通过大模型生成语言嵌入
• 从知识图谱中检索，构建子图
• 将语言嵌入和子图作为图神经网络的输入
• 通过图注意力网络获取注意力分数
• 生成最终的预测结果和决策的解释过程
• XplainLLM：首个捕捉大模型推理元素并通过人类可理解的解释呈现决策过程的数据集
• 结合知识图和图注意力网络，构建问题-答案-解释（QAE）三元组

图模互补应用与展望

1. 应用

• Graph-Care
• 提示工程构建医疗知识图谱
• 利用双注意力增强（BAT）图神经网络（GNN）模型进行下游任务预测
• GPT-RE
• 任务感知检索
• 金标签诱导推理
• REALM：RAG驱动框架
• GenTKG：时间知识图谱预测

2. 展望

• 增强大模型自身性能：核心问题是如何让大模型学习知识图谱信息
• 将知识图谱之间转化为语言文本：破会啊知识图谱的结构信息
• 利用深度学习从知识图中提取相关信息
• 图模互补深度融合
• 目前：JointLK和QA-GNN通过GNN将知识图谱和大模型联立起来，DRAGON在联合基础上增加自监督学习策略
• 未来：可以结合强化学习，构建更完善的检索结构
• 缓解大模型幻觉现象
• 可解释型大模型