清华&面壁开源新一代主动Agent交互范式！让AI从被命令到主动帮助
清华&面壁开源新一代主动Agent交互范式！让AI从被命令到主动帮助
清华大学与面壁智能团队提出了开创性的新一代主动Agent交互范式（ProActive Agent），为AI交互带来了突破性的解决方案。这种新范式下的Agent不再是简单的指令执行者，而是升级成为了具有"眼力见"的智能助手。
主动Agent与被动Agent对比
图1.两种人类与智能体交互形式的比对。左侧的被动式Agent只能被动接受用户指令并生成回复，而右侧的主动式Agent可以通过观测环境主动推断与提出任务。
主动Agent技术原理
下图展示了主动Agent技术原理的整体流程。为了让智能体能够主动提出任务，该研究设计了三个组件以模拟不同场景下的环境信息，用户行为和对智能体提出任务的反馈。
图2.数据生成过程总览。该过程包含了初始环境与任务设置，事件生成，主动预测，用户判断和行动执行。
其中：
环境模拟器模拟了一个特定环境，并为智能体的交互提供了一个沙盒条件。模拟器通过使用基于Activity Watcher软件采集到的真实人类数据以提升生成事件的质量。环境模拟器的主要功能为事件生成与状态维护：通过使用GPT-4o从人类注释员处收集的种子事件以生成一个需要交互的具体环境，同时生成所有相关实体以让智能体执行任务。对于每个场景，环境模拟器接收用户活动并生成详细的，逻辑通顺合理的事件，环境模拟器将会持续生成事件，更新实体状态，产生特定反馈，直到当前环境下没有更多事件以供生成。
主动智能体将会通过环境模拟器提供的信息预测用户意图，生成预测任务。每当智能体接受一个新事件后，它将首先更新自己的记忆，结合用户之前的反馈和历史交互信息，主动智能体将能够结合用户性格提出可能的任务。如果主动智能体没有检测到需要，其将保持静默，反之将会提出一个任务。一旦此任务被用户接受，那么主动智能体将在环境模拟器中执行该任务，并进而产生后续的系列事件。
用户智能体将模拟用户行为并对主动智能体的任务做出反馈。用户智能体为经过提示的GPT-4o，在获取预测之后，用户智能体将会决定是否接受任务。该研究通过从人类标注员处收集判断，并训练一个奖励模型以模拟这一过程。
人类标注员在研究开发的标注平台上进行标注，对特定时间下，9个不同的大语言模型生成的多样化预测进行判断，并通过多数投票的方式决定某个回合用户是否具有需求，以及用户倾向于接受什么类型的任务。值得一提的是，人类标注员在测试集上达到了91.67%的一致性，充分说明了测试集的可靠性。
主动Agent实验研究
该研究提出了一套度量方式衡量奖励模型和人工标注员的一致性。
- 需求遗落(MN)：人工标注认为需要帮助而奖励模型认为无需帮助。
- 静默应答(NR)：人工标注和奖励模型都认为无需帮助。
- 正确检测(CD)：人工标注和奖励模型都认为需要帮助。
- 错误检测(FD)：人工标注认为无需帮助而奖励模型认为需要帮助。
从结果上看，所有的现有模型都在正确检测上表现良好，但对于其他指标则性能较差。现有模型倾向于接受智能体的任务，尽管可能毫无助益。相对的，该研究训练的模型性能最优，因此被选为ProactiveBench的奖励模型。
图表3.不同模型作为奖励模型的评测结果。研究展示了模型与人工标注员多数投票结果之间的一致性。在LLaMA-3.1-instruct-8B微调的模型取得了最好结果。
通过奖励模型，可以进一步衡量主动智能体的性能表现。该研究在不同的模型上进行了评估，并将模型预测的结果交由奖励模型进行评价。
从结果上看，闭源模型会倾向于主动提出任务而不能在用户无需帮助时保持静默，模型提供的任务往往过于抽象或无用，以至于产生较高的误报率。
对于开源模型，经过数据集训练的模型明显更优，这证实了研究数据合成流水线的有效性。同时，经过训练的模型也在误报率上有了明显的下降，尽管提供不必要的帮助的情况仍然存在。
图表4.不同模型在ProactiveBench数据上的评测结果。GPT-4o在闭源模型中脱颖而出，对于开源模型，基于Qwen2-7B微调的结果取得最好成果。
研究同样进行了消融学习以研究提出任务数量和用户反馈对于智能体性能的影响。通过让模型提出多个可能的任务并一一进行判断，所有的模型在指标上都有明显的上升。
通过给予模型来自奖励模型的反馈，所有的模型误报率都有所下降，准确度有所上升，但在召回率的表现上有明显下降。通过结合奖励模型，主动智能体可以更好的检测用户需求，降低误报率。
图表5.基准线，多任务预测，获取反馈之间的比较。结果表明所有的模型都有所提升。模型的误报率由于接受预测的可能性更高或被奖励模型改进而显著下降。
主动Agent应用场景
主动Agent交互范式在日常生活中有丰富的应用潜力，以下是一些近期预想可实现的场景：
场景1：在一段情侣聊天的场景中，男生邀请女生一起要在周六去环球影城并于早上八点来接女生，当Agent获取用户授权之后随时保持在线的“候命状态”，当Agent通过上下文聊天内容实时识别到女生的需求，在没有用户明确下指令的情况下，Agent主动帮女生定了一个周日早上七点的闹钟用来提醒起床。
场景2：当用户在电脑上接收到一份重要文件时，Agent主动帮用户把文件存到了本地，并自动识别出PDF文件第一页显示的标题然后帮用户把文件名进行了重命名。
结语
该研究提出了创新的人类-智能体交互方法即主动Agent（ProActive Agent）范式，有望将AI从被动的工具转变为具有洞察力和主动帮助的智能协作，从而开启人机交互新范式。这一技术革新不仅将改变我们与AI交互的方式，更有望为大众群体创造更加包容和便利的智能化生活环境。随着技术的不断进步，我们可以期待看到更自然的人机协作模式，更智能的场景适应能力，以及更深度的个性化服务。