StructRAG：通过推理时混合信息结构化提升 LLMs 的知识密集型推理

创作时间:

作者:

@小白创作中心

StructRAG：通过推理时混合信息结构化提升 LLMs 的知识密集型推理

引用

来源

https://www.modb.pro/db/1851801399326248960

随着深度学习技术的发展，特别是大型语言模型（LLMs）的广泛应用，检索增强生成（RAG）方法在知识密集型任务中显示出强大的潜力。然而，现有的 RAG 方法在处理知识密集型推理任务中仍然面临挑战，因为这些任务所需的有用信息往往分布不均。为了解决这一问题，中国科学院和阿里巴巴集团的研究人员共同提出了新的RAG框架StructRAG。

摘要

随着深度学习技术的发展，特别是大型语言模型（LLMs）的广泛应用，检索增强生成（RAG）方法在知识密集型任务中显示出强大的潜力。然而，现有的 RAG 方法在处理知识密集型推理任务中仍然面临挑战，因为这些任务所需的有用信息往往分布不均。这一特性使得现有的 RAG 方法难以准确识别关键信息，并在这种嘈杂的增强信息中进行全局推理。为了解决这一问题，StructRAG 借鉴了人类处理复杂问题时将信息结构化的认知理论，采用混合信息结构化机制，根据任务需求以最合适的格式构建和利用结构化知识，从而提升LLMs在知识密集型推理任务上的性能。

方法

框架

如上图所示，StructRAG 首先采用混合结构路由器（Hybrid Structure Router）来识别给定任务最合适的结构类型，然后采用分散知识结构化器（Scattered Knowledge Structurizer）将原始文档转化为该格式的结构化知识，最后结合结构化知识利用器（Structured Knowledge Utilizer.）将复杂问题分解为简单的子问题，从而实现对结构化知识的更准确推理。

以下是StructRAG框架其主要组成部分及功能的详细说明：

1. 混合结构路由器（Hybrid Structure Router）

功能：该路由器负责根据输入问题（q）和文档的核心内容（C）选择最合适的知识结构类型（t），如表格、图形、算法、目录或文本块。

流程：通过分析任务要求，路由器识别不同结构类型的适用性，生成最佳结构类型（t）。这一过程是基于对相关文档核心内容的理解，使得后续的知识提取更加高效。

训练方法：使用基于 DPO（Direct Preference Optimization）的方法进行训练，确保路由器在知识类型选择上表现优异。

2. 分散知识结构化器（Scattered Knowledge Structurizer）

功能：在识别到最适合的结构类型（t）后，该模块提取原始文档中分散的知识并重构为结构化的知识（）和知识描述（）。

流程：利用 LLM 的强大理解和生成能力，将每个原始文档转换为选定结构类型的结构化知识。例如，表格通过 markdown 表示，图通过头-关系-尾三元组列表表示，块通过常规文本表示，算法通过伪代码表示，目录通过带有分层编号（例如，第一节，1.1，1.1.2）作为明确章节标识符的文本表示。然后将生成的结构化知识（）和描述（）汇总成整体知识结构（）和结构化知识的总体描述（），为后续推理提供基础。