资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

Agent工作流记忆 - 让AI助手更聪明地完成复杂任务

创作时间:

作者:

@小白创作中心

Agent工作流记忆 - 让AI助手更聪明地完成复杂任务

引用

来源

https://53ai.com/news/RAG/2024092418326.html

随着人工智能技术的快速发展，AI助手在日常生活中扮演着越来越重要的角色。然而，面对复杂的多步骤任务时，现有的AI助手往往表现不佳。为了解决这一问题，研究人员提出了一种名为"Agent Workflow Memory"（AWM）的新方法，让AI助手能够像人类一样学习、记忆和使用工作流程。本文将详细介绍这一创新方法的核心原理及其在实际任务中的表现。

背景：AI助手的挑战

当前，AI技术已经取得了显著进展，特别是像GPT这样的大语言模型（LLM），它们可以进行对话、回答问题，甚至帮助完成一些简单的任务。但是，当面对复杂的、需要多个步骤才能完成的任务时，AI助手仍然面临不少困难。

以网上订机票为例，这个看似简单的任务实际上涉及多个步骤：

打开航空公司网站
选择出发地和目的地
选择日期
筛选合适的航班
填写乘客信息
选择座位
支付订单

对于人类来说，这些步骤可能已经烂熟于心，但对AI助手而言，每次执行这样的任务都像是全新的体验。研究人员发现，现有的AI助手主要有两个问题：

缺乏可重用的工作流程：AI助手无法像人类那样，从过去的经验中提取出通用的工作流程，并在新任务中灵活运用。
无法从失败中学习：每次执行任务时，AI助手都是从头开始，无法利用之前成功或失败的经验来改进自己的表现。

研究目标：让AI助手更聪明

基于这些挑战，研究者提出了一个非常有趣的想法：能不能让AI助手也像人类一样，能够学习、记忆和使用工作流程呢？

这就是本篇论文的核心目标：开发一种方法，让AI助手能够从过去的经验中提取出可重用的工作流程，并在未来任务中灵活运用这些工作流程。研究者希望通过这种方法，AI助手可以：

更高效地完成复杂任务
在不同的网站和领域之间更好地泛化
随着经验的积累不断提升自己的能力

那么他们是如何实现这个目标的呢？这就要说到本文的核心方法了：Agent Workflow Memory（AWM），也就是"Agent工作流记忆"。

AWM的核心思想：工作流记忆

Agent Workflow Memory（AWM）的核心思想是让AI助手能够像人类一样，从过去的经验中学习、记忆和使用工作流程。但什么是"工作流"呢？让我们先来理解这个概念。

什么是工作流？

在AWM中，工作流（Workflow）是指完成某个任务或子任务的一系列步骤。它包含两个主要部分：

工作流描述（Workflow Description）：一段简短的文本，描述这个工作流的目标或功能。
工作流轨迹（Workflow Trajectory）：一系列具体的步骤，包括观察环境、推理和执行动作。

举个例子，假设我们有一个"搜索产品"的工作流，它可能看起来像这样：

## 工作流描述：在电商网站搜索特定产品
工作流轨迹：
1. [观察] 当前页面显示搜索框
2. [推理] 我需要在搜索框中输入产品名称
3. [动作] 在搜索框中输入"{产品名称}"
4. [观察] 搜索结果页面加载完成
5. [推理] 我需要查看搜索结果并选择最相关的产品
6. [动作] 点击最相关的产品链接

这个工作流描述了在电商网站搜索产品的通用步骤，可以适用于多种不同的产品和网站。

AWM的工作原理

现在我们了解了工作流的概念，让我们来看看AWM是如何工作的。AWM的核心流程包括三个主要步骤：

工作流提取（Workflow Induction）
工作流整合（Workflow Integration）
工作流使用（Workflow Utilization）

让我们逐一详细了解这些步骤。

1. 工作流提取（Workflow Induction）

在这个步骤中，AWM会从AI助手过去执行任务的经验中提取出可重用的工作流。这个过程可以通过两种方式进行：
a) 基于规则的提取：使用预定义的规则来识别和提取常见的行为模式。
b) 基于语言模型的提取：使用大型语言模型（如GPT）来分析和总结任务执行过程，生成抽象的工作流。

研究者发现，基于语言模型的提取方法通常能产生更抽象、更通用的工作流，因此在实验中表现更好。

当然可以。工作流提取（Workflow Induction）是AWM方法的核心步骤之一，论文中详细描述了两种主要的实现方式：基于规则的方法和基于语言模型的方法。我们来深入了解一下这两种方法的具体实现细节。

1. 基于规则的方法（Rule-based Induction）

基于规则的方法主要包括两个步骤：经验去重和无效动作过滤。

1.1 经验去重

目的：从多个相似的任务执行经验中提取出独特的工作流。

实现步骤：

提取动作序列：

例如，从轨迹
CLICK('12') → CLICK('30') → TYPE('44', "cat")
中提取出
CLICK → CLICK → TYPE
。
按动作序列分组：
将具有相同动作序列的经验分到一组。
随机选择：
从每组中随机选择n个经验（默认n=1）作为该组的代表。
（针对WebArena）额外的模板去重：
如果有任务模板信息，再按模板分组。
从每个模板组中随机选择n个经验（默认n=1）。

1.2 无效动作过滤

目的：移除无法在环境中成功执行的动作步骤。

实现步骤：

设定规则：

例如，CLICK和TYPE动作的第一个参数必须是字符串格式的整数（代表环境中元素的ID）。
应用规则：
遍历每个动作，检查是否符合规则。
移除不符合规则的动作。
生成最终工作流：
保留经过过滤后的有效动作序列作为工作流。

示例：输入轨迹：
CLICK(12) → CLICK('12') → CLICK('30') → TYPE(44, "cat") → TYPE('44', "cat")
输出工作流：
CLICK('12') → CLICK('30') → TYPE('44', "cat")

2. 基于语言模型的方法（LM-based Induction）

基于语言模型的方法利用大型语言模型（如GPT）来生成更抽象、更通用的工作流。

2.1 提示工程（Prompt Engineering）

研究者设计了特殊的提示模板，引导语言模型从给定的任务经验中提取工作流。

提示模板的关键点：

任务描述：要求模型从给定的网页导航任务列表中提取常见工作流。
输入格式说明：每个任务包含一个自然语言指令和一系列解决任务的动作。
输出要求：

找出多个任务中重复出现的动作子集。
将每个重复子集提取为一个工作流。
每个工作流应该是常用的子例程，至少包含两个步骤。
使用描述性变量名代替具体的输入文本或按钮字符串。

Given a list of web navigation tasks, your task is to extract the common workflows.
Each given task contains a natural language instruction, and a series of actions to solve the task. You need to find the repetitive subset of actions across multiple tasks, and extract each of them out as a workflow.
Each workflow should be a commonly reused subroutine of the tasks. Do not generate similar or overlapping workflows. Each workflow should have at least two steps. Represent the non-fixed elements (input text, button strings) with descriptive variable names as shown in the example.

2.2 工作流生成

语言模型基于提供的任务经验和提示，生成抽象的工作流。

生成的工作流通常包含：

工作流描述：简要说明工作流的目标或功能。
工作流轨迹：包含多个步骤，每个步骤包括：

环境描述：当前网页状态的文本描述。
推理过程：解释为什么要执行下一步动作。
具体动作：可执行的程序化动作。

示例工作流：

## 在电商网站搜索产品
工作流描述：此工作流用于在电商网站上搜索特定产品。
工作流轨迹：
[环境描述] 当前页面显示搜索框。
[推理] 我需要在搜索框中输入产品名称。
[动作] fill('搜索框ID', '{产品名称}')
[环境描述] 搜索结果页面已加载。
[推理] 我需要点击最相关的产品链接。
[动作] click('{最相关产品链接ID}')

3. 两种方法的比较

研究者发现，基于语言模型的方法通常能产生更好的结果：

更抽象：生成的工作流更容易泛化到不同的任务和网站。
更细粒度：能够捕捉到更精细的操作模式。
更灵活：可以根据上下文生成适应性更强的工作流。

然而，基于规则的方法也有其优势：

计算效率高：不需要大型语言模型，处理速度更快。
确定性：结果更可预测，便于调试和优化。

在实际应用中，研究者主要使用基于语言模型的方法，因为它能产生更高质量、更通用的工作流，从而在各种测试场景中取得更好的性能。

通过这种精心设计的工作流提取过程，AWM能够从AI助手的历史经验中学习到有用的操作模式，这些模式后续可以被用来指导AI助手更有效地完成新的任务。这就是AWM方法效果显著的关键所在。

2. 工作流整合（Workflow Integration）

一旦提取出工作流，AWM会将这些工作流整合到AI助手的记忆中。这个过程就像是给AI助手一本"操作手册"，里面包含了各种常见任务的执行步骤。

3. 工作流使用（Workflow Utilization）

当AI助手面对新任务时，它会先查阅自己的"操作手册"，看看有没有适用的工作流。如果找到了相关的工作流，AI助手就会参考这个工作流来执行任务，而不是从零开始摸索。

AWM的两种工作模式

AWM有两种主要的工作模式：离线模式（Offline）和在线模式（Online）。

离线模式（AWM Offline）：

在任务执行之前，使用已有的训练数据来提取工作流。
适用于有大量高质量训练数据的场景。
优点是可以提前准备好工作流，执行任务时更快。

在线模式（AWM Online）：

在执行任务的过程中实时提取和使用工作流。
适用于没有现成训练数据，或者任务环境经常变化的场景。
优点是可以不断学习和适应新的任务环境。

这两种模式各有优势，研究者在不同的实验场景中都进行了测试。

到这里，我们已经对AWM的核心思想和工作原理有了基本的了解。在下一部分，我们将看看研究者是如何评估AWM的效果的，以及它在实际任务中表现如何。

AWM的实验评估

研究者们为了全面测试AWM的效果，选择了两个主要的网页导航基准测试：WebArena和Mind2Web。这两个测试集涵盖了各种不同类型的网页任务，从简单的信息查找到复杂的多步骤操作都有。让我们来看看AWM在这些测试中的表现。

WebArena测试

## shopping: Browse Products in a Specific Category
To browse products in a specific category, I need to navigate to the relevant main category. I will start by hovering over the main category menu item to reveal the subcategories.
hover('main category id')
To browse products in the specific subcategory, I need to click on the subcategory link.
click('subcategory id')

WebArena是一个包含812个网页导航任务的测试集，涉及5个不同的网站，包括电子商务、社交论坛、软件开发协作平台和内容管理系统等。这个测试的特点是它可以严格评估AI助手执行任务的功能正确性。

实验设置

研究者使用了GPT-4作为基础模型，采用AWM的在线模式（AWM Online）进行测试。这意味着AI助手在执行测试任务的过程中，会不断学习和使用新的工作流。

主要结果

整体成功率：

AWM：35.5%
基准方法（BrowserGym）：23.5%
相对提升：51.1%

平均步骤数：

AWM：5.9步
基准方法：7.9步

这些结果表明，AWM不仅显著提高了任务完成的成功率，还减少了完成任务所需的步骤数，使AI助手的操作更加高效。

跨模板泛化能力

研究者还专门测试了AWM在不同任务模板之间的泛化能力。结果显示，即使面对全新的任务类型，AWM仍然保持了较高的成功率（33.2%），远超基准方法（20.5%）。

Mind2Web测试

# travel: enter flight locations
Given that you are on the flight booking page, this workflow enters the departure and destination city/airport for your flight.
[link] From Departure Airport or City Your Origin -> CLICK [textbox] Origin City or Airport -> TYPE: {your-origin-city}
[link] {best-popup-option} -> CLICK
[link] To Destination Airport or City Your Destination -> CLICK [textbox] Destination City or Airport -> TYPE: {your-destination-city}
[link] {best-popup-option} -> CLICK

Mind2Web是另一个重要的测试集，它强调了跨任务、跨网站和跨领域的泛化能力。这个测试集包含了1000多个任务，涉及200多个不同的网站和多个领域（如旅行、购物、社交媒体等）。