基于LLM的Agent架构详解：从单智能体到多智能体的演进

基于LLM的Agent架构详解：从单智能体到多智能体的演进

引用

CSDN

1.

https://blog.csdn.net/Peter_Changyb/article/details/138760037

基于大型语言模型（LLM）的Agent架构是当前AI领域研究的热点之一。本文将为您详细解析Agent的定义、架构设计、主流实现方式以及多智能体系统的特点，帮助您全面了解这一前沿技术。

Agent定义

Agent是一种能够自主决策、采取行动以达到某种目标的实体。在AI领域，Agent通常基于人工智能技术，尤其是大模型技术，能够感知和理解环境，并采取行动以完成目标。

Agent能干什么？

AI Agent 主要依托LLM模型和具体的业务场景来调用相应的工具来完成任务目标，智能化程度和行业贴合度会更明显。

典型案例

以智能核保应用为例，如果解决方案搭载AI Agent能力，Agent具体工作包括：

1. 自动识别业务需求，调用OCR信息抽取和结构化管理
2. 构建核保决策模型
3. 联合出保及费率管理等模块，快速完成核保目标

Agent和大模型LLM的关系

1. AI Agent 以大模型技术为驱动，大模型以AI Agent 为业务触手。
2. 不同的大模型应用行业应用，往往会催生不同的AI Agent。
3. 两者相辅相成、相得益彰，共同拓展着AI的应用边界和通用能力。

总结来说，大模型 + 插件 + 执行流程 = Agent，如下图所示：

Agent架构解析

在Agent架构设计方面，该论文提出了一个统一的框架，包括Profile模块、Memory模块、Planning模块和Action模块。

Profile模块

定义和管理Agent角色的特性和行为。它包含一系列参数和规则，描述了Agent的各种属性，如角色、目标、能力、知识和行为方式等。这些属性决定了Agent如何与环境交互，如何理解和响应任务，以及如何进行决策和规划。

三种Agent角色生成方式：

1. LLM生成方法：利用大语言模型自动生成代理的个人特征，比如年龄、性别、个人喜好等背景信息。
2. 数据集对齐方法：是从真实世界的人口数据集中获取代理的配置文件信息，比如通过抽取人口调查数据组织成自然语言描述。
3. 组合方法：利用真实数据集生成一部分关键代理，确保反映真实世界规律；然后用LLM生成方法补充大量其他代理，拓展代理数量。

Memory模块

在Agent系统中扮演重要角色，它存储和组织从环境中获取的信息，以指导未来行动。结构上，内存模块通常包含短期记忆和长期记忆两个部分。短期记忆暂存最近的感知，长期记忆存储重要信息供随时检索。

Planning模块

主要任务是帮助Agent将复杂的任务分解为更易处理的子任务，并制定出有效的策略。它大致分为两种类型：

1. 不依赖反馈的计划：按照级联的方式，一步一步地生成计划；或生成多个备选的计划路径，形成树状或图状的结构；或利用外部的规划器进行快速搜索。
2. 基于反馈的计划：根据任务执行后的反馈来调整计划，这种方式更适合需要进行长期规划的情况。

Action模块

职责是将抽象的决策转化为具体的行动，它就像是一个桥梁，连接了Agent的内部世界与外部环境。在执行任务时，需要考虑行动的目标、生成方式、应用范围以及可能产生的影响。

理想的行动应当是有目的的，例如完成特定任务、与其他代理进行交流或者探索环境。行动的产生可以依赖于查询过去的记忆经验，或者遵循预设的计划。而行动的范围，不仅可以通过利用如API和知识库等外部工具来扩展，还需要发挥大型语言模型（LLM）的内在能力，例如规划、对话及理解常识等。

主流的另一种Agent架构

LLM-based Agent 框架包含三个组成部分：控制端（Brain）、感知端（Perception）和行动端 （Action）。

控制端：Brain

自然语言交互：高质量文本生成和言外之意的理解（chatgpt，chatglm ，llama）
知识：基于大批量语料训练的 LLMs，拥有了存储海量知识（Knowledge）的能力。除了语言知识以外， 常识知识和专业技能知识都是 LLM-based Agents 的重要组成部分。（Langchain）
记忆力：长期记忆，短期记忆。
扩充记忆的方法扩展 Backbone 架构的长度限制：针对 Transformers 固有的序列长度限制问题进行改进。
总结记忆（Summarizing）：对记忆进行摘要总结，增强代理从记忆中提取关键细节的能力。
压缩记忆（Compressing）：通过使用向量或适当的数据结构对记忆进行压缩，可以提高记忆检索
推理 & 规划：将复杂任务分解为更易于管理的子任务。在制定计划后，可以进行反思并评估其优劣。
迁移性 & 泛化性：对未知任务的泛化
情景学习（In-context Learning）：场景化学习，持续学习

感知端：Perception

大模型行的耳朵和眼睛
文本输入，视觉输入：图片->文本 图片->编码，听觉输入，其他输入

行动端：Action

大模型的手和脚
文本输出：LLMs 最基础的能力，计算微积分，计算泛函，
工具使用：尽管 LLMs 拥有出色的知识储备和专业能力，但在面对具体问题时，也可能会出现鲁棒 性问题、幻觉等一系列挑战。与此同时，工具作为使用者能力的扩展，可以在专业性、事实性、可 解释性等方面提供帮助。例如，可以通过使用计算器来计算数学问题、使用搜索引擎来搜寻实时信 息。
其他模型：调用语音生成、图像生成等专家模型，来获得多模态的行动方式。

案例分析：华为诺亚的盘古Agent

近日，来自华为诺亚方舟实验室、伦敦大学学院（UCL）、牛津大学等机构的研究者提出了盘古智能体框架（Pangu-Agent）尝试来解决 AI 智能体面临的挑战。该研究作者包括伦敦大学学院计算机系教授汪军。

该工作在两个关键方面区别于先前的框架：

1. 将智能体的内部思维过程形式化为结构化推理的形式；
2. 展示了通过监督学习和强化学习来微调智能体的方法。

标准强化学习侧重于直接学习从感知中输出行动的策略。虽然人们习惯于通过深度网络架构参数化策略，但作者认为，当通过基础模型策略跨任务扩展智能体时，标准 RL 管道中缺乏固有推理结构可能会成为一个重大瓶颈，因为梯度无法为所有深度网络提供足够的监督。

盘古 Agent 框架展示了结构化推理如何帮助强化学习克服这些挑战，利用大规模基础模型提供先验知识并实现跨广泛领域的泛化能力。

据介绍，该工作的主要贡献包括：

1. 证明了结构化推理在智能体框架中的重要性，盘古 Agent 的通用性足以有效涵盖现有智能体框架的任务范围。作为一个元智能体框架，它可以利用内部函数调用的顺序进行调整或微调，或者将决策委托给底层 LLM。使用者也可以轻松扩展智能体的功能，并组合或重用许多已经实现的方法。
2. 作者在七个 LLM 和六个不同领域上进行了评估。该评估可用于告知研究人员如何初始化其智能体以及如何收集微调步骤的数据。
3. 研究证明了框架的监督微调（SFT）和强化学习微调（RLFT）的影响。通过结构化推理，该工作成功实现了基于拒绝采样的 SFT 管道，大幅提高了 LLM 在 ALFWorld 领域的表现，成功率从 27% 增加到 82%。尽管 SFT 的好处已趋于稳定，但通过 RL 可以实现进一步增强，将 BabyAI 任务的成功率提高到 88%，甚至从 28% 提高到 91%。此外，跨领域实验显示通过 RL 管道训练的单个 LLM 能够同时在 ALFWorld (82%) 和 BabyAI（18 项任务中平均 58.7%）领域实现高性能。

主流的多智能体系统

与单智能体的区别

1. 多智能体的每个Agent只需要关注自己的立场，与自己相关的信息即可。不需要cover所有的历史信息，而单智能体，比如AutoGPT，是需要记住所有的历史信息，意味着单智能体在面临长历史的复杂任务时，对记忆容量（大模型支持的序列长度）要求比较高。多智能体在这方面有很明显的优势。
2. 通过角色扮演的机制可以排除一些其他视角的观点，让大模型的表现更稳定，单智能体由于混杂了很多任务，无法做到这一点。
3. 可拓展性更好，单智能体的拓展性依赖于memory的一些节省token的策略，对于更复杂的任务，每次输入给大模型的context会变长，会产生性能下降的风险（大模型处理长序列会存在丢失关键信息的情况等等）。多智能体分工协作则没有这个问题，因为每个智能体只完成特定的子任务，子任务一般不会造成很长的context。
4. 可以多方案并行探索，然后选取最优的解决方案。单智能体则没有这种优势，或者实现起来会相对麻烦一点。

主流的多智能体系统

1. MetaGPT：借鉴现实世界人类团队之间的软件开发SOP，展示了其将复杂任务分解为分配给不同角色的特定可操作过程的能力（例如Product Manager, Architect, Engineer等等）。

2. AutoGen：2023年最成功的Multi-Agent的Framework之一，通过多智能体对话来整合多智能体工作流，旨在最大限度地提高实现的可重用性。

3. AutoAgents：过程分为Drafting阶段和Execution阶段。Drafting阶段包括三个预定义agent（Planner、Agent Observer和Plan Observer）之间的协作讨论来综合定制的agent团队和适合输入问题的执行计划或任务。Execution阶段通过agent间协作和反馈完善计划，以及产生最终结果。引入self-refinement机制，通过个体agent和协作进行自我完善，促进各agent之间的知识共享。

总结

Agent技术的发展经历了从单智能体到多智能体的演变。早期的代表性系统如AutoGPT和BabyAGI强调Agent使用工具的能力，而后来的多智能体系统则侧重于角色扮演和Agents之间的协作、竞争等策略来完成复杂任务。多智能体系统需要建设Agent自动化调度、Multi-Agent通信协议等基础设施，以完成更高阶的任务。多智能体系统更像是一个团队，其中的Agent扮演不同的工种角色，通过分工协作完成复杂的任务。