图模互补:知识图谱与大模型融合综述
创作时间:
作者:
@小白创作中心
图模互补:知识图谱与大模型融合综述
引用
CSDN
1.
https://blog.csdn.net/weixin_45838549/article/details/142343526
知识图谱与大模型的融合是当前人工智能领域的一个重要研究方向。这种融合不仅能够提升大模型的性能和可靠性,还能增强知识图谱的构建和应用能力。本文将从多个维度探讨知识图谱与大模型的互补关系,包括图模互补的动机、大模型如何增强知识图谱、知识图谱如何增强大模型,以及这种融合在实际应用中的表现和未来展望。
图模互补动机
利用知识图谱减轻大模型幻觉
KELM语料库、通用模型KGPT为大模型提供基于知识图谱转化的真实文本信息知识图谱提供一种解释和推理知识的手段,用于探究大模型内部复杂的工作步骤和推理过程
个性化知识库与大模型集成检索框架KnowledGPT,提高了处理复杂搜索和歧义的能力。知识图谱作为外部检索工具,帮助大模型解决公平、因私和安全等问题
大模型增强知识图谱
- 增强知识图谱构建
- ChatIE、ChatExtract:提示词工程,不涉及微调
- AutoKG:利用预训练大模型自动化构建知识图谱,轻量、高效;以关键字为节点,记录各节点间的相关性权重,根据关键词之间的关联程度建立知识图谱中的边
- 增强知识图谱补全
- KoPA:知识前缀适配器,将知识图谱结构信息整合到大模型中
- 增强知识图谱推理
- LLM-ARK:将多条推理任务表示为强化学习序列决策问题,通过全文本环境提示聚合多尺度输入,使大模型获得丰富信息状态的嵌入表示
- LARK:上下文知识图谱搜索和逻辑查询推理两个步骤
- ChatRule:从知识图谱中提取规则样例;通过大模型和提示词生成候选规则;使用CoT推理和规则验证模型进行规则验证;最后通过规则评估器评估规则,更新知识图谱,推导出新的实体或关系
- 增强知识图谱问答
- ChatKBQA:为图模互补引入了一种新的思想图查询范式
- 微调
- 用大模型将自然语言问题转换为根据候选的逻辑形式
- 最后通过检索转换逻辑形式中的实体信息,生成相对应的SPARQL查询
- KnowPAT:用于处理领域中特定问题回答的偏好对齐框架
- 构建风格偏好集
- 设计新的对齐目标,将大模型偏好与人类偏好对齐
- BYOKG:通用问题回答系统
- 无监督学习,通过图遍历学习未知知识图谱
- 借助大模型生成自然语言问题补充探索语料库
- RAG
知识图谱增强大模型
- 增强大模型自身性能
- 知识图谱构建预训练语料库
- TEKGEN语言化管道模型:将实体子图转化为高质量语料库
- 启发式对齐器
- 三元组转换为文本的生成器
- 实体子图创建器
- 删除低质量输出的后处理过滤器
- KGPT:自动对齐知识图谱和文本构建基于知识的语料库KGTEXT
- 知识图谱内嵌大模型
- K-BERT、KnowBERT:知识增强型预训练模型
- ERNIE:构造结构化知识编码模块,将知识纳入语言理解,显著提高知识驱动的性能
- ERNIE3.0:对ERNIE改进,融合自回归网络和自编码网络,使用大量纯文本和大规模知识图谱进行训练
- SKILL:直接在知识图谱的事实三元组上训练T5模型
- KLMo:集成实体间的细粒度关系的预训练语言模型
- KEPLER:统一知识嵌入和预训练语言表示模型
- KnowGPT:ChatGPT的黑箱知识注入方法
- KANO:基于功能提示的知识图增强分子对比学习方法
- 增强大模型推理
- CohortGPT:采用链式思维采样策略辅佐领域知识图增强大模型在医学领域推理能力
- QA-GNN:将问题上下文与检索到的知识链接起来,构成一个联合图
- JointLK
- 双向注意力模块:在每个问题标记和每个知识图谱节点之间生成细粒度的双向注意映射,实现不同模态信息的融合
- 动态图裁剪模块:移除无关的图节点进行去噪,以确保模型正确地使用完整和恰当的证据进行推理
- DRAGON:自监督学习策略
- 掩码语言建模(MLM)
- 链接预测
- 增强大模型检索
- RAG :通过外部真实知识向量索引来解决大模型无法自我更新知识的问题
- RETRO:解决大模型内存开销过大的问题
- KaLMA:提高大模型的引用生成能力和检索准确性
- 构建基于检索、重新排序和生成的管道
- 提出“Conscious Incompetence”设置
- KMLM:提高隐性知识推理,跨语言知识密集型任务性能改进
- 将三元组信息以代码形式转化为多语言文本
- 在预训练过程中附加文本的结构信息
- 增强大模型可解释性
- LMExplainer:采用知识图谱和图注意力网络(GAT)提取大模型的关键决策信号,提供全面、清晰、可理解的文本解释
- 通过大模型生成语言嵌入
- 从知识图谱中检索,构建子图
- 将语言嵌入和子图作为图神经网络的输入
- 通过图注意力网络获取注意力分数
- 生成最终的预测结果和决策的解释过程
- XplainLLM:首个捕捉大模型推理元素并通过人类可理解的解释呈现决策过程的数据集
- 结合知识图和图注意力网络,构建问题-答案-解释(QAE)三元组
图模互补应用与展望
- 应用
- Graph-Care
- 提示工程构建医疗知识图谱
- 利用双注意力增强(BAT)图神经网络(GNN)模型进行下游任务预测
- GPT-RE
- 任务感知检索
- 金标签诱导推理
- REALM:RAG驱动框架
- GenTKG:时间知识图谱预测
- 展望
- 增强大模型自身性能:核心问题是如何让大模型学习知识图谱信息
- 将知识图谱之间转化为语言文本:破会啊知识图谱的结构信息
- 利用深度学习从知识图中提取相关信息
- 图模互补深度融合
- 目前:JointLK和QA-GNN通过GNN将知识图谱和大模型联立起来,DRAGON在联合基础上增加自监督学习策略
- 未来:可以结合强化学习,构建更完善的检索结构
- 缓解大模型幻觉现象
- 可解释型大模型
热门推荐
段永平再投苹果,这次瞄准新能源?
紫微斗数如何看财运详解,紫微斗数富贵层次
商朝与青铜文化:璀璨的中华文明瑰宝
全球华媒齐聚北京,共商中国式现代化国际传播
第五届海外华文新媒体论坛:技术创新助力国际传播升级
反式脂肪酸的“自白书”
教你读懂食品标签:营养成分表和配料表的奥秘
代可可脂巧克力的五大健康隐患
打造高效能车间:智能装备工厂布局设计与创新技术应用
系统优化车间布局:精益布局与IE方法实践
六大措施筑牢车间安全防线,从源头防范安全事故
智能算法提升车间布局效率,助力制造业降本增效
戒烟防霾,远离CYFRA21-1异常风险
合理膳食能否降低Cyfra21-1?专家解读来了
CYFRA21-1异常升高,可能是身体在预警
80-100公里/小时:五菱宏光S的高速黄金速度
工厂安全布局全攻略:原则、设施、案例详解
万用表COM端口电路检测技巧
万用表COM端口:电路测量与安全防护的关键
石家庄裕东二社区开展腊八节活动,送粥写春联温暖邻里
工业工程融合智能制造,车间布局优化升级
融合信息化与智能化,精益生产管理实现新突破
车间布局巧优化:30%搬运距离减少是如何做到的
长城策略教你识别债券投资风险
企业债投资:稳赚还是冒险?
12步教你包出完美韭菜鸡蛋馅水饺
淮河能源、东软集团并购重组,17日起停牌
告别饮食误区,这样吃才能真正提升免疫力
第八章:记忆技巧与生活实践
史上最好之学习方法