AI大模型+RAG技术综述：从基础框架到未来展望
AI大模型+RAG技术综述：从基础框架到未来展望
RAG（Retrieval-Augmented Generation）技术是当前AI大模型领域的重要研究方向之一。它通过整合外部知识库来增强大模型的性能，已成为许多对话产品的核心技术。本文将全面回顾RAG技术的最新进展，包括其定义、框架、核心技术、评估方法以及未来发展方向。
1. 什么是RAG？
RAG是一种通过整合外部知识库来增强大模型（LLM）性能的技术模式。它采用协同方法结合信息检索机制和上下文学习来提高LLM的性能。其工作流程主要包括三个关键步骤：将语料库划分为离散块，构建向量索引，并根据与查询和索引块的向量相似性来识别和检索块。这些步骤支持其信息检索和上下文感知生成能力。
图 2 RAG 技术在 QA 问题中的案例
2. RAG技术框架
RAG技术的发展可以分为三个主要阶段：朴素RAG、进阶RAG和模块RAG。
2.1 朴素RAG
朴素RAG研究范式是一种早期的方法学，用于处理自然语言生成任务。它包括索引、检索和生成三个阶段。索引阶段从原始数据中提取文本，并将其转化为向量表示，以便于检索和生成。检索阶段计算查询向量与索引语料库中向量化的块之间的相似度分数，并优先检索出最相似的块作为扩展上下文的基础。生成阶段将查询和选定的文档合成一个连贯的提示，并要求大型语言模型根据提示来制定响应。
2.2 进阶RAG
进阶RAG通过增强有针对性的检索策略和改进索引方法来弥补朴素RAG的缺点。它实施了预检索和后检索策略，并采用了滑动窗口、细粒度分割和元数据等技术来改进索引方法。此外，还引入了各种方法来优化检索过程，如ILIN。在检索阶段，通过计算查询和块之间的相似性来确定适当的上下文，并微调嵌入模型以增强特定领域上下文中的检索相关性。在后检索阶段，应对上下文窗口限制带来的挑战，并对检索到的内容进行重新排名和提示压缩。
2.3 模块RAG
模块RAG结构是新型框架，具大灵活性和适应性，可整合各种方法增强功能模块，解决特定问题。此范式渐成常态，支持多模块间串行流水线或端到端训练方法。进阶RAG是模块RAG的专门形式，朴素RAG是进阶RAG的特例。三者关系为继承和发展。
图3 RAG 范式对比图
3. RAG核心技术
RAG的核心技术主要包括检索、生成和增强三个部分。
3.1 检索
在RAG中，精确语义表示、协调查询和文档语义空间、以及检索器输出与大型语言模型偏好的协调，是高效检索相关文档的核心问题。
- 加强语义表示：RAG中的语义空间对于查询和文档的多维映射至关重要，建立准确语义空间的方法包括块优化和管理外部文档的微调嵌入模型。
- 对齐查询和文档：RAG应用中，检索器可以通过查询重写和嵌入变换两种基本技术实现查询和文档语义对齐。
- 对齐检索器和LLM：为了改善检索性能和更准确地响应用户查询，提出了两种将检索器输出与LLMs偏好对齐的方法：微调检索器和适配器。
3.2 生成
RAG的重要组件是生成器，负责将检索信息转换为连贯文本。它通过整合数据提高准确性，受检索文本指导确保一致性。这种全面输入让生成器深入了解问题上下文，提供更有信息和上下文相关的响应。生成器有助于提高大型模型对输入数据的适应能力。
3.3 增强
RAG发展关键技术主要围绕增强阶段、增强数据来源和增强过程三个方面。
- 增强阶段：RAG的增强阶段包括预训练、微调和推理阶段。
- 增强源：RAG模型通过增强数据源的选择和不同层次的知识处理技术来提高有效性。
- 增强过程：在RAG领域，为了解决单一检索步骤和生成可能导致效率低下的问题，提出了改进检索过程的方法，包括迭代检索、递归检索和自适应检索。
4. RAG评估
自然语言处理中的RAG模型评估在法律语言学社区中受到关注，评估主要目的是理解和优化模型在不同应用场景的性能。历史上，评估主要集中在特定下游任务中的表现，使用适合手头任务的既定指标。现在，评估的目标、方面、基准和工具已经转向基于RAG模型独特属性的研究，以提供一个全面的概述。
5. 未来展望
RAG技术虽然取得了显著进展，但仍面临一些挑战，如扩大LLM角色、规模定律和生产就绪的RAG等。RAG技术已经超越了基于文本的问答，接纳了图像、音频和视频等多种模态数据，催生了创新的多模态模型。在图像领域，RA-CM3和BLIP-2等模型实现了文本和图像的检索和生成，以及零样本图像到文本转换。在音频和视频领域，GSS方法、UEOP、基于KNN的注意力融合、Vid2Seq等也取得了进展。在代码领域，RBPS通过编码和频率分析检索与开发人员目标一致的代码示例，表现出色。RAG技术还有很大的发展空间。
图1 RAG技术发展科技树