大模型模仿人类记忆，迎来无限上下文时代

大模型模仿人类记忆，迎来无限上下文时代

引用

CSDN

1.

https://blog.csdn.net/specssss/article/details/140526641

大型语言模型（LLMs）在处理长上下文时存在困难，这限制了它们在处理长序列时保持连贯性和准确性的能力。为了解决这一问题，研究人员提出了EM-LLM（Episodic Memory，情景记忆）方法，通过模仿人类事件记忆来处理几乎无限长的上下文。

我们都知道，人类大脑在处理长时间的记忆和事件时表现出色。而现有的大型语言模型（LLMs），虽然已经展现出了非凡的能力，但在处理广泛的上下文时仍然存在困难，这限制了它们在处理长序列时保持连贯性和准确性的能力。这样的表现有限主要是因为：

• Transformer架构在遇到比它们训练时用的上下文更长的内容时，会变得不太灵活。
• 当序列很长时，注意力机制的效果会变得混乱和噪声化。
• 尽管像检索增强生成（RAG）这样的技术有一些进展，但在处理长上下文任务时，效果还是不够好。

相比之下，人类的大脑在组织和检索跨越一生时间尺度的事件体验方面非常出色。

在这项工作中，介绍了EM-LLM，这是一种新颖的方法，它将人类事件记忆和事件认知的关键方面整合到LLMs中，使它们能够有效处理几乎无限的上下文长度，同时保持计算效率。

EM-LLM（Episodic Memory，情景记忆）：使得LLM能够处理几乎无限长的上下文，同时保持计算效率。

EM-LLM通过在推理过程中基于惊奇水平（Bayesian surprise）对词序列进行分段，初步边界是动态确定的，随后通过图论度量进行优化。这种方法不仅提高了模型的记忆检索效率，还模仿了人类记忆的时间动态，使得相关信息的检索既基于相似性也考虑时间连续性。

EM-LLM通过结合贝叶斯惊喜和图论，在保持计算效率的同时，实现了对长上下文的有效处理。这一创新方法为未来AI模型的发展提供了新的思路和方向。