AI开发中的RAG技术详解：概念、原理与优势

创作时间:

作者:

@小白创作中心

引用

来源

https://learn.microsoft.com/zh-cn/azure/databricks/generative-ai/tutorials/ai-cookbook/rag-overview

检索增强生成（RAG）是一种使大型语言模型（LLM）能够使用从外部信息源检索到的支持数据来增强用户提示的技术。通过合并检索到的信息，RAG使LLM能够生成更准确、更高质量的响应。本文将详细介绍RAG的核心概念、工作原理及其在AI开发中的应用价值。

什么是检索增强生成？

RAG是一种技术，它使大型语言模型（LLM）能够使用从外部信息源检索到的支持数据来增强用户提示，从而生成经过扩充的响应。通过合并检索到的这些信息，RAG使LLM能够生成更准确、更高质量的响应，而不是使用额外的上下文来增强提示。

例如，假设你正在构建问答聊天机器人，以帮助员工回答有关公司专有文档的问题。如果没有专门的培训，独立LLM将无法准确回答有关这些文档的内容的问题。LLM可能会因为缺乏信息而拒绝回答，或者更糟的是，它可能会生成不正确的响应。

为了解决这个问题，RAG首先根据用户的查询从公司文档检索相关信息，然后将检索到的信息作为额外的上下文提供给LLM。这样，LLM就可以根据在相关文档中找到的特定详细信息生成更准确的响应。从本质上讲，RAG使LLM能够“咨询”检索到的信息来表述其答案。

RAG应用程序是复合AI系统的一个示例：它通过与其他工具和程序相结合来扩展模型本身的语言功能。

使用独立LLM时，用户将请求（如问题）提交给LLM，LLM仅根据其训练数据给出答案。在最基本的形式中，以下步骤在RAG应用程序中发生：

检索：用户的请求用于查询信息源以外的内容。这可能意味着查询矢量存储、对某些文本执行关键字搜索或查询SQL数据库。检索步骤的目标是获取支持数据，以帮助LLM提供有用的响应。
增强：从检索步骤获得的支持数据与用户的请求相结合，通常使用带有附加格式和LLM说明的模板来创建提示。
生成：生成的提示将传递给LLM，LLM将生成对用户请求的响应。

这是RAG过程的简化概述，但请务必注意，实现RAG应用程序涉及许多复杂任务。预处理源数据来使其适用于RAG、有效检索数据、格式化增强提示以及评估生成的响应，这些都需要仔细考虑和努力。本指南后面的部分将更详细地介绍这些主题。

下表概述了使用RAG对比独立LLM的优势：

只使用LLM	将LLM与RAG配合使用
没有专有知识：LLM通常使用公开可用的数据进行训练，因此它们无法准确回答有关公司内部或专有数据的问题。	RAG应用程序可合并专有数据：RAG应用程序可以将专有文档（如备忘录、电子邮件和设计文档）提供给LLM，使其能够回答有关这些文档的问题。
知识不实时更新：LLM无法访问训练后发生的事件的相关信息。例如，独立LLM目前无法告诉你有关股票走势的任何信息。	RAG应用程序可访问实时数据：RAG应用程序可以从更新的数据源中向LLM提供及时的信息，使其能够对超出训练截止日期的事件提供有用的答案。
缺少引文：LLM在响应时无法引用特定信息来源，使用户无法验证响应是实际正确还是虚构的。	RAG可引用来源：用作RAG应用程序的一部分时，可以要求LLM引用其来源。
缺少数据访问控制（ACL）：LLM无法根据特定用户权限可靠地为不同用户提供不同的答案。	RAG允许数据安全/ACL：检索步骤旨在仅查找用户有凭据可访问的信息，使RAG应用程序能够有选择地检索个人或专有信息。

RAG体系结构可以处理两种类型的支持数据：

结构化数据	非结构化数据
定义	以特定架构按行和列排列的表格数据，例如数据库中的表。
示例数据源	- BI或数据仓库系统中的客户记录 - 来自SQL数据库的事务数据 - 来自应用程序API（例如SAP、Salesforce等）的数据
定义	没有特定结构或组织的数据，例如包含文本和图像的文档，或者音频或视频等多媒体内容。
示例数据源	- BI或数据仓库系统中的客户记录 - 来自SQL数据库的事务数据 - 来自应用程序API（例如SAP、Salesforce等）的数据 - PDF - Google或Microsoft Office文档 - Wiki - 图像 - 视频