【RAG优化】一文整理20多种目前常用的 RAG 创新方法

【RAG优化】一文整理20多种目前常用的 RAG 创新方法

引用

CSDN

1.

https://blog.csdn.net/m0_59235945/article/details/146379791

RAG（Retrieval-Augmented Generation）是一种结合检索和生成的技术，通过将外部知识动态注入生成过程，显著提升了大语言模型（LLM）的性能。本文整理了20多种目前常用的RAG创新方法，涵盖了图谱增强、模块化设计、多模态扩展等多个方向。

标准 RAG

• 介绍：一个基本的 RAG 系统由检索模块和生成模块组成。系统会对查询进行编码，检索相关的文档块，然后为基于 transformer 的 LLM 构建丰富的提示。
• 创新点：将外部知识动态注入生成过程，而无需修改 LLM 本身，就像是给 LLM 戴上了一副能随时获取新知识的 “眼镜”。
• 优点：简单有效，能够提升 LLM 的生成效果。
• 缺点：存在检索到很多与 query 无关的片段，增加噪声输入，与 query 关联的信息比较稀疏，需要 LLM 本身去提炼或挖掘利用。

GraphRAG

• 创新点：结合知识图谱与RAG，通过实体和关系建模增强语义关联，支持多跳推理和复杂查询。例如，利用图谱的拓扑结构优化检索路径，提升对开放域问题的回答质量。
• 优点：显著提高答案的全面性和逻辑性，适用于知识密集型任务（如医学、法律问答）。
• 缺点：图谱构建成本高，多模态图谱融合难度大。
• 论文：GraphRAG: Knowledge Graph Enhanced Retrieval-Augmented Generation

Modular RAG

• 创新点：模块化设计，灵活集成检索、重排序、生成等组件，支持定制化功能（如多答案整合、多轮对话）。
• 优点：扩展性强，适应不同领域需求。
• 缺点：组件协同优化复杂，系统调试成本高。
• 论文：Modular RAG

Advanced RAG

• 创新点：在检索前后增加预处理（如查询重写）和后处理（如结果重排），提升信息相关性。
• 优点：减少噪声干扰，优化生成质量。
• 缺点：流程复杂度增加，实时性受限。
• 论文：Advanced RAG

TRAQ

• 创新点：结合Conformal Prediction和贝叶斯优化，提供端到端统计正确性保证，减少生成中的虚构现象。
• 优点：首个实现开放域问答的统计可信度框架。
• 缺点：依赖检索器和生成模型的性能假设。
• 论文：TRAQ: Trustworthy Retrieval-Augmented Question Answering

ColBERT

• 创新点：基于张量分解的语义检索模型，通过近似矩阵乘法加速检索，支持百亿级语料库的实时查询。
• 优点：检索效率高，兼顾语义和字面匹配。
• 缺点：预计算开销大，存储需求高。
• 论文：ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction

AgenticRAG

• 创新点：集成智能代理（Agent）技术，支持主动推理和用户个性化交互，如多轮对话中的上下文记忆。
• 优点：增强系统自主性，适应动态需求。
• 缺点：内存管理和计算资源消耗大。
• 链接：AgenticRAG

Multimodal RAG

• 创新点：支持图像、音频等多模态数据检索与生成，如CLIP和BLIP模型的应用。
• 优点：跨模态信息整合，提升交互丰富性。
• 缺点：模态对齐技术不成熟，计算成本高。
• 链接：Multimodal RAG

HyDE（Hypothetical Document Embeddings）

• 创新点：生成假设性文档嵌入，引导检索过程，减少对显式知识库的依赖。
• 优点：增强零样本检索能力。
• 缺点：依赖生成模型的虚构风险。
• 链接：HyDE

RARE（Retrieval-Augmented Reasoning Engine）

• 创新点：主动拆解用户问题为子查询，多轮迭代优化检索结果，模仿人类推理过程。
• 优点：解决复杂问题的多跳推理需求。
• 缺点：响应延迟显著增加。
• 论文：RARE: Retrieval-Augmented Reasoning Engine

RA-DIT

• 创新点：结合微调（Fine-tuning）与RAG，通过参数调整优化检索与生成的协同。
• 优点：模型适应性强，支持领域定制。
• 缺点：训练数据需求量大。
• 论文：RA-DIT: Retrieval-Augmented Dual Instruction Tuning

DSP（Demonstrate-Search-Predict）

• 创新点：在推理阶段动态结合示例检索、搜索和预测，提升生成可控性。
• 优点：灵活适应多样化任务。
• 缺点：示例选择对性能影响大。
• 论文：Demonstrate-Search-Predict: Composing Retrieval and Language Models for Knowledge-Intensive NLP

RETRO

• 创新点：在预训练阶段引入检索机制，增强模型的知识内化能力。
• 优点：生成内容更准确，减少幻觉。
• 缺点：预训练成本极高。
• 论文：Improving Language Models by Retrieving from Trillions of Tokens

Self-RAG

• 创新点：模型自主决定何时检索，动态调整生成策略，平衡检索成本与效果。
• 优点：自适应性强，资源利用率高。
• 缺点：需要复杂的提示工程。
• 论文：Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

KG2RAG

• 介绍：利用知识图谱来增强 LLM 生成效果，将检索文档 + rank 方式和利用图谱（知识库）两种方式融合起来
• 创新点：将知识图谱直接映射为检索源，利用图遍历技术优化实体关系查询。
• 优点：结构化知识利用率高。
• 缺点：图谱更新和维护复杂。
• 链接：KG2RAG

CoRAG（Collaborative RAG）

• 介绍：考虑块间相关性，使用蒙特卡洛树搜索（MCTS）框架处理添加块的单调效用问题，还使用设置代理适应各种查询类型
• 创新点：多模型协作检索与生成，通过投票或加权融合提升结果鲁棒性。
• 优点：减少单一模型偏差。
• 缺点：系统集成复杂度高。
• 论文：CoRAG

Auto-RAG

• 介绍：使用 LLM 细化查询，通过多轮对话规划检索，直到收集到足够信息的自主方法。该系统会根据问题难度自适应调整，并用自然语言解释其过程。
• 创新点：通过多轮对话来细化查询和规划检索，能够根据问题难度自适应调整。
• 优点：对问题难度的适应性高。
• 缺点：需要多轮对话处理，实现复杂。
• 论文: Auto-RAG

MemoRAG

• 介绍：采用具有长期记忆的双系统方法。轻量级 LLM 创建数据库的 “全局记忆” 并生成回答草稿以指导检索工具，而更强大的 LLM 使用检索到的数据生成最终回答。
• 创新点：通过轻量级 LLM 和强大 LLM 的组合来实现高效处理。
• 优点：能够通过轻量级 LLM 和强大 LLM 的组合实现高效处理。
• 缺点：需要构建双系统。
• 链接：MemoRAG
• 论文：MemoRAG

HtmlRAG

• 介绍：直接使用 HTML，保留标题、表格等有价值的信息结构，而不是使用纯文本。通过清理和修剪技术处理 HTML 中的额外噪音和大小。
• 创新点：保留了 HTML 中的结构化信息，如标题和表格等。
• 优点：能够保留更多的信息结构，有助于提高生成结果的质量。
• 缺点：需要对 HTML 进行噪声处理。
• 论文：HtmlRAG

FastRAG

• 介绍：使用模式和脚本学习高效处理数据，不完全依赖 AI 模型的方法。结合文本检索和知识图谱查询，提高精度，减少 90% 的处理时间和 85% 的成本。
• 创新点：结合了文本检索和知识图谱查询，并通过模式和脚本学习来提高处理效率。
• 优点：显著减少处理时间和成本。
• 缺点：模式和脚本学习的适用范围有限。
• 论文：FastRAG

其他方法（简要列举）

• FLARE：迭代检索与生成结合，动态扩展上下文窗口。
• RePlug：检索增强的预训练语言模型，支持多任务学习。
• Atlas：基于稠密检索的大规模知识增强模型。
• FiD（Fusion-in-Decoder）：在解码阶段融合多检索结果，提升生成多样性。
• RAGFlow：集成多模态文档解析（如DeepDoc模块），支持PDF、图像等非结构化数据处理。

总结

以上方法覆盖了RAG技术的核心方向，包括图谱增强、模块化设计、多模态扩展、自适应检索等。未来趋势将聚焦于多模态融合、动态推理优化和轻量化部署。