问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

最全梳理:一文搞懂RAG技术的5种范式!

创作时间:
作者:
@小白创作中心

最全梳理:一文搞懂RAG技术的5种范式!

引用
1
来源
1.
https://cloud.tencent.com/developer/article/2498870

检索增强生成(RAG)技术自2021年出现以来,经过多轮范式迭代进展,尤其是在2024年呈现爆发态势,全年产生了一千篇以上相关论文。本文将系统梳理RAG领域的关键进展和五大范式,并总结工程应用中常见的RAG系统构建工具。

一、综述与关键论文

1.1 三篇关键综述

  1. Zhao等人的综述[1]详细介绍了RAG的三个基本范式:朴素RAG、高级RAG和模块化RAG。
  2. Gao等人的综述[2]是该领域最具影响力的综述之一,全面概述了RAG在大语言模型中的应用。
  3. Fan等人的综述[3]探讨了RAG与大语言模型的结合,提出了检索增强大语言模型的概念。

1.2 发展历程

RAG技术的发展历程可以概括为以下几个阶段:

  1. 2021年:RAG首次被用于LLMs的预训练阶段。
  2. ChatGPT发布后:大量用于推理阶段的RAG方法涌现,演化出NaiveRAG、AdvancedRAG与ModularRAG三种范式。
  3. 2024年:微软开源的GraphRAG开启了第四种范式,融合了知识图谱。
  4. 2024年下半年:AgenticRAG出现,成为前四种范式的集大成者,具有自适应性。


图1:按照主要设计重点、提出时间及影响力(以引用量体现)梳理的检索增强生成(RAG)和检索增强大语言模型(RA - LLMs)方法。


图2:RAG研究技术树。

1.3 RAG基本概念

为什么需要RAG?
大型语言模型(LLMs)虽然取得了显著成就,但在特定领域或知识密集型任务中仍面临挑战,尤其是在处理超出其训练数据或需要当前信息的查询时,会产生"幻觉"。RAG通过引用外部知识,有效减少生成与事实不符内容的问题。

RAG的起源
RAG最早由Lewis等人[4]提出,通过将预先训练的参数记忆和非参数记忆结合起来用于语言生成的模型,显著提高了模型在知识密集型任务中的性能。

RAG简单流程与总览
RAG的基本流程包括三个步骤:索引、检索和生成。索引阶段将文档分割成块并编码成向量;检索阶段根据语义相似度检索相关块;生成阶段将原始问题和检索到的块一起输入LLM生成最终答案。


图3:应用于问答的RAG过程的代表性实例。


图4:RAG三种范式的比较。

1.4 高级RAG

高级RAG通过引入具体的改进措施,如检索前和检索后策略,以及优化索引技术和检索过程,克服了朴素RAG的局限性。关键论文包括Jin等人的FlashRAG[5],这是一个模块化的开源工具包,帮助研究人员在统一框架内复制现有RAG方法。


图6:FlashRAG工具箱总览。

1.5 模块化RAG

模块化RAG通过将复杂的RAG系统分解为独立的模块和专门的操作符,形成高度可重构的框架。关键论文包括Gao等人的研究[7],提出了三层架构设计,包括L1 Module、L2 Sub-module和L3 Operator。


图8:三种 RAG 范式之间的比较。

1.6 GraphRAG

GraphRAG利用图数据库中的结构化信息来增强RAG系统的检索能力。关键论文包括Peng等人的综述[8],系统地概述了GraphRAG方法,并提出了图基础索引、图引导检索和图增强生成三个主要阶段。


图9:GraphRAG流程。

1.7 AgenticRAG

AgenticRAG通过将自主AI代理嵌入RAG流程中,实现了动态管理和适应性调整。关键论文包括Singh等人的综述[10],详细探讨了Agentic RAG的架构分类、应用案例和实施策略。


图13:AgenticRAG工作流程。

二、工程实践

2.1 RAG框架

推荐使用RAGFlow框架,它提供了更便捷的开发体验。其他Python包如langchain和llama_index虽然功能强大,但开发难度较高。

2.2 文档解析

推荐使用MinerU工具进行文档解析。另一种方案是采用多模态大模型构建端到端的RAG流程。

2.3 RAG的12个痛点

RAG技术在实际应用中存在一些痛点,包括内容缺失、错过排名靠前的文档、格式错误等问题。解决方案包括优化检索策略、改进提示词设计、采用先进的检索策略等。

2.4 落地时需要考虑的问题

在RAG落地时需要考虑的问题包括检索效率、信息融合、上下文理解、数据偏差、答案准确性、可扩展性、资源消耗和隐私安全等。

参考文献

[1] ZHAO P, ZHANG H, YU Q, 等. Retrieval-Augmented Generation for AI-Generated Content: A Survey[A/OL]. arXiv, 2024[2024-06-21]. http://arxiv.org/abs/2402.19473.

[2] GAO Y, XIONG Y, GAO X, 等. Retrieval-Augmented Generation for Large Language Models: A Survey[A/OL]. arXiv, 2024[2024-03-27]. http://arxiv.org/abs/2312.10997.

[3] FAN W, DING Y, NING L, 等. A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models[A/OL]. arXiv, 2024[2024-06-17]. http://arxiv.org/abs/2405.06211.

[4]LEWIS P, PEREZ E, PIKTUS A, 等. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks[A/OL]. arXiv, 2021[2025-01-27]. http://arxiv.org/abs/2005.11401. DOI:10.48550/arXiv.2005.11401.

[5] JIN J, ZHU Y, YANG X, 等. FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research[A/OL]. arXiv, 2024[2024-11-03]. http://arxiv.org/abs/2405.13576. DOI:10.48550/arXiv.2405.13576.

[6] SARMAH B, HALL B, RAO R, 等. HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction[A/OL]. arXiv, 2024[2024-08-24]. http://arxiv.org/abs/2408.04948. DOI:10.48550/arXiv.2408.04948.

[7] GAO Y, XIONG Y, WANG M, 等. Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks[A/OL]. arXiv, 2024[2024-08-24]. http://arxiv.org/abs/2407.21059. DOI:10.48550/arXiv.2407.21059.

[8] PENG B, ZHU Y, LIU Y, 等. Graph Retrieval-Augmented Generation: A Survey[A/OL]. arXiv, 2024[2024-08-21]. http://arxiv.org/abs/2408.08921.

[9] EDGE D, TRINH H, CHENG N, 等. From Local to Global: A Graph RAG Approach to Query-Focused Summarization[A/OL]. arXiv, 2024[2024-08-03]. http://arxiv.org/abs/2404.16130. DOI:10.48550/arXiv.2404.16130.

[10] SINGH A, EHTESHAM A, KUMAR S, 等. Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG[A/OL]. arXiv, 2025[2025-01-26]. http://arxiv.org/abs/2501.09136. DOI:10.48550/arXiv.2501.09136.

[11] ASAI A, WU Z, WANG Y, 等. Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection[A/OL]. arXiv, 2023[2025-01-27]. http://arxiv.org/abs/2310.11511. DOI:10.48550/arXiv.2310.11511.

[12] YU S, TANG C, XU B, 等. VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents[A/OL]. arXiv, 2024[2024-10-30]. http://arxiv.org/abs/2410.10594.

[13] FAYSSE M, SIBILLE H, WU T, 等. ColPali: Efficient Document Retrieval with Vision Language Models[A/OL]. arXiv, 2024[2024-10-27]. http://arxiv.org/abs/2407.01449. DOI:10.48550/arXiv.2407.01449.

[14] FENG W, HAO C, ZHANG Y, 等. AirRAG: Activating Intrinsic Reasoning for Retrieval Augmented Generation via Tree-based Search[A/OL]. arXiv, 2025[2025-01-27]. http://arxiv.org/abs/2501.10053. DOI:10.48550/arXiv.2501.10053.

[15] FAN T, WANG J, REN X, 等. MiniRAG: Towards Extremely Simple Retrieval-Augmented Generation[A/OL]. arXiv, 2025[2025-01-26]. http://arxiv.org/abs/2501.06713. DOI:10.48550/arXiv.2501.06713.

[16] HAN H, WANG Y, SHOMER H, 等. Retrieval-Augmented Generation with Graphs (GraphRAG)[A/OL]. arXiv, 2025[2025-01-26]. http://arxiv.org/abs/2501.00309. DOI:10.48550/arXiv.2501.00309.

[17] GUPTA S, RANJAN R, SINGH S N. A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions[A/OL]. arXiv, 2024[2024-11-08]. http://arxiv.org/abs/2410.12837. DOI:10.48550/arXiv.2410.12837.

[18] WANG X, WANG Z, GAO X, 等. Searching for Best Practices in Retrieval-Augmented Generation[A/OL]. arXiv, 2024[2025-01-26]. http://arxiv.org/abs/2407.01219. DOI:10.48550/arXiv.2407.01219.

[19] Papers with Code - RAG[EB/OL]. [2025-01-28]. https://paperswithcode.com/task/rag.

[20] Graph Memory[EB/OL]. [2025-01-28]. https://docs.mem0.ai/open-source/graph-memory.

[21] OROZ T. Comparative Analysis of Retrieval Augmented Generator and Traditional Large Language Models[J]. Data Science.

[22] INFINIFLOW. 万字长文梳理 2024 年的 RAG[EB/OL]. [2025-01-28]. http://mp.weixin.qq.com/s?__biz=MzkyMTU5MDM2MQ==&mid=2247484133&idx=1&sn=196c5c05baa8896555c8f2cab895c681&chksm=c039ee778047e58bc96c44caafb88d17168076736c090a08da93a6f44704a67634c09063da15#rd.

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号