科学家提出迭代自反馈检索增强法，让大模型像人类一样自我学习

科学家提出迭代自反馈检索增强法，让大模型像人类一样自我学习

引用

新浪网

1.

https://finance.sina.com.cn/tech/roll/2024-04-28/doc-inatkvkv0622771.shtml

科学家提出了一种新的迭代自反馈检索增强方法，通过引入自我知识、文章相关性和问题分解三个模块，显著提升了大模型的自我学习能力。这种方法不仅在多种检索增强方案和数据集中表现出色，还为解决大模型幻觉问题提供了新思路。

在最新研究中，科学家们将检索增强框架与三个辅助模块相结合，包括自我知识、文章相关性和问题分解模块，以实现更高效的大模型自我学习。

这三个模块各自承担着不同的功能：

• 自我知识模块：当大模型的回答很可能包含正确答案时，该模块可以指示模型直接作答，避免不必要的检索时间和错误。
• 文章相关性模块：类似于文章重排策略，但更进一步。它不仅能筛选出相关文本，还能在找不到相关文本时触发问题分解模块，从而避免不相关文本导致的事实性错误。
• 问题分解模块：当检索内容过于粗略时，该模块会将原问题分解为一系列语义覆盖的子问题，以减少错误知识和无关信息的影响。

通过这种迭代处理方式，研究人员能够确保检索过程中的文本相关性，同时更好地利用现有知识或在缺乏旧知识时获取新知识。在多种检索增强方案和不同数据集中，该框架均展现出最佳表现效果。此外，研究团队还在不同迭代次数和子模块大小选择上进行了深入分析，进一步验证了框架的严谨性。目前，相关代码已在开源社区开放。

据介绍，该框架具有广泛的应用前景：

1. 可作为大模型的知识增强方法，特别是在专业领域知识的融合方面
2. 可实现语料知识与大模型在存储上的分离，通过缓存接口按需获取语料知识，降低存储复杂性
3. 在数据隐私保护方面，个人数据可存放至语料库，从而更好地保护隐私

（来源：arXiv）

未来，研究团队计划在GitHub（https://github.com/OceannTwT/ra-isf）上持续更新该框架，并基于此框架为LangChain用户提供服务，以帮助用户更好地利用框架功能。

图 | 论文作者之一刘彦铭（来源：资料图）

参考资料：

1. https://arxiv.org/pdf/2403.06840

本文原文来自DeepTech深科技