AI实现自我进化的新突破：基于长期记忆的Omne框架
AI实现自我进化的新突破：基于长期记忆的Omne框架
在AI领域，模型的自我进化能力一直是研究者们追求的目标。近日，天桥脑科学研究院和普林斯顿大学等机构发布了一篇重要研究论文，详细阐述了长期记忆对AI自我进化的重要性，并提出了基于多智能体的Omne框架，该框架在GAIA基准测试中取得了第一名的成绩。
AI模型进化三阶段
研究团队将LLM（大型语言模型）的模型进化过程分成了三个主要阶段：
- 阶段 1：在物理世界中积累认知
- 阶段 2：在数字世界中构建基础模型
- 阶段 3：模型自我进化，以实现更强大的智能
当前的研究主要集中在前两个阶段，即如何构建更好的数据集和训练更强大的基础模型。但到了第三阶段，架构的重要性开始显现，核心难题是如何有效表达少数个体的数据。
实现模型自我进化的原理
模型的自我进化能力依赖于有效的记忆机制。研究团队提出，长期记忆（LTM）能为模型提供历史数据积累和经验学习能力，类似于人类通过经验和记忆完善认知的过程。
LTM数据提升模型能力
传统LLM在更新模型时通常需要调整所有参数，这种方法在处理个体数据时效率低下。研究团队采用了一种混合策略，通过局部参数更新来适应稀疏、个性化的LTM数据，这种方法可以避免个性化信息被平均化。
实时权重更新实现自我进化
当前的LLM通常分为训练和推理两个阶段，推理阶段模型权重是固定的。研究团队提出，未来的LLM应该将推理和训练与LTM结合起来，使模型能够在接收到新信息时动态调整权重，类似于人类的持续学习能力。
长期记忆在模型自我进化中的实现路径
研究团队做出了以下贡献：
- 给出了AI自我进化和LTM的定义
- 提出了一个用于LTM的数据框架
- 提出了一个用于LTM的多智能体协作开发框架
AI自我进化的基础
AI自我进化是指AI模型使用个性化数据不断学习和优化，实现多智能体协作和认知方面的突破。这个过程基于一个共享式内核架构，各个模型通过处理个性化经验和数据不断进化，提升自身推理能力和适应能力。
要实现AI自我进化，需要：
- 多智能体协作机制
- 差异化的个性化模型
- 自我纠错和评估机制
- 长期记忆和学习能力
LTM在AI自我进化中的应用
目前，LLM主要通过上下文存储器和基于压缩的参数存储器来管理信息，但这些机制在支持长期自主学习和进化方面存在不足。研究团队从人类LTM特征中汲取灵感，提出了增强人工智能模型自我进化能力的方法。
LTM的构建策略
LTM是对原始数据的有效组织和结构化，主要操作方法包括：
- 文本摘要
- 数据结构化
- 图表征
- 矢量化
- 模型参数化
如何利用LTM实现模型自我进化
获得高质量的LTM数据后，需要解决几个关键挑战：
- 适应持续更新的LTM数据
- 实时学习和高效反馈集成
- 处理数据稀疏性和用户多样性
基于LTM的多智能体框架Omne
研究团队提出基于LTM的多智能体框架Omne，该框架专门用于解决LTM在AI系统中的实际应用难题。Omne的核心模块包括统一的记忆模型、多模态消息处理系统以及灵活的记忆存储和操作机制。
基于Omne Core，研究团队还构建了一个Omne Assistant，它提供了一个现成的应用层框架，包括AI助手所需的基本功能。在GAIA基准测试中，Omne框架取得了优异成绩：
- 在测试集上取得第一名（40.53%）
- 在验证集上取得第二名（46.06%）
- 在最复杂的问题上达到26.53%的准确率
这证明了通过利用强大的基础模型（尤其是具有强大推理和逻辑能力的模型）解决现实问题的潜力。