VisionTasker：西安交大研发的移动设备自动化方案，性能超人类
VisionTasker：西安交大研发的移动设备自动化方案，性能超人类
AI正在逐步解放人类的双手，甚至可以让手机实现自动化操作。最近，西安交通大学智能网络与网络安全教育部重点实验室（MOE KLINNS Lab）的蔡忠闽教授、宋云鹏副教授团队提出了一种基于视觉的移动设备任务自动化方案VisionTasker，该方案通过结合基于视觉的UI理解和LLM任务规划，能够有效执行多样化任务，为用户提供前所未有的便捷体验。
什么是移动任务自动化？
移动任务自动化利用AI精准捕捉并解析人类意图，进而在移动设备（手机、平板电脑、车机终端）上高效执行多样化任务，为那些因认知局限、身体条件限制或身处特殊情境下的用户提供前所未有的便捷与支持。
例如：
- 帮助视障人群用户完成导航、阅读或网上购物
- 辅助老年人使用手机，跨越数字鸿沟
- 帮助车主在驾驶过程中完成发送短信或调节车内环境
- 替用户完成日常生活中普遍存在的重复性任务
VisionTasker：基于视觉的移动设备任务自动化方案
团队提出了VisionTasker，一个结合基于视觉的UI理解和LLM任务规划的两阶段框架，用于逐步实现移动任务自动化。该方案有效消除了表示UI对视图层次结构的依赖，提高了对不同应用界面的适应性。值得注意的是，利用VisionTasker无需大量数据训练大模型。
具体实现
- 用户界面理解
VisionTasker通过视觉的方法做UI理解来解析和解释用户界面。首先识别并分析用户界面上的元素及布局，如按钮、文本框、文字标签等。然后，将这些识别到的视觉信息转换成自然语言描述，用于解释界面内容。
- 任务规划与执行
接下来，Agent利用大语言模型导航，根据用户的指令和界面描述信息做任务规划。将用户任务拆解为可执行的步骤，如点击或滑动操作，以自动推进任务的完成。
- 持续迭代以上过程
每一步完成后，Agent都会根据最新界面和历史动作更新其对话和任务规划，确保每一步的决策都是基于当前上下文的。这是一个迭代的过程，将持续进行直到判断任务完成或达到预设的限制。
用户不仅能从交互中解放双手，还可以通过可见提示监控任务进度，并随时中断任务，保持对整个流程的控制。
技术细节
首先是识别界面中的小部件和文本，检测按钮、文本框等元素及其位置。对于没有文本标签的按钮，利用 CLIP 模型基于视觉设计来推断其可能功能。随后，系统根据 UI 布局的视觉信息进行区块划分，将界面分割成多个具有不同功能的区块，并对每个区块生成自然语言描述。这个过程还包括文本与小部件的匹配，确保正确理解每个元素的功能。最终，所有这些信息被转化为自然语言描述，为大语言模型提供清晰、语义丰富的界面信息，使其能够有效地进行任务规划和自动化操作。
实验评估
实验评估部分，该项目提供了对三种UI理解的比较分析，分别是：GPT-4V、VH（视图层级）和VisionTasker方法。
三种UI理解方法的比较分析
对比显示，VisionTasker在多个维度上比其他方法有显著优势。此外，在处理跨语言应用时也表现出了良好的泛化能力。
跨四个数据集的单步预测准确性
文章还进行了单步预测实验，根据当前的任务状态和用户界面，预测接下来应该执行的动作或操作。结果显示，VisionTasker在所有数据集上的平均准确率达到了67%，比基线方法提高了15%以上。
真实世界任务测试
实验过程中，研究人员设计了147个真实的多步骤任务来测试VisionTasker的表现，这些任务涵盖了国内常用的42个应用程序。与此同时，团队还设置了人类对比测试，由12名人类评估者手动执行这些任务，然后VisionTasker的结果进行比较。
实际任务自动化实验的结果
结果显示，VisionTasker在大多数任务中能达到与人类相当的完成率，并且在某些不熟悉的任务中表现优于人类。“Ours-qwen”是指使用开源Qwen实现VisionTasker框架，”Ours”表示使用文心一言作为LLM。
团队还评估了VisionTasker在不同条件下的表现，包括使用不同的大语言模型（LLM）和编程演示（PBD）机制。VisionTasker 在大多数直观任务中达到了与人类相当的完成率，在熟悉任务中略低于人类但在不熟悉任务中优于人类。
结论
作为一个基于视觉和大模型的移动任务自动化框架，VisionTasker克服了现阶段移动任务自动化对视图层级结构的依赖。通过一系列对比实验，证明其在用户界面表现上超越了传统的编程演示和视图层级结构方法。它在4个不同的数据集上都展示了高效的UI表示能力，表现出更广泛的应用性；并在Android手机上的147个真实世界任务中，特别是在复杂任务的处理上，表现了出超越人类的任务完成能力。此外，通过集成编程演示（PBD）机制，VisionTasker在任务自动化方面有显著的性能提升。
目前，该工作已以正式论文的形式发表于2024年10月13-16日在美国匹兹堡举行的人机交互顶级会议UIST（The ACM Symposium on User Interface Software and Technology）。UIST是人机交互领域专注于人机界面软件和技术创新的CCF A类顶级学术会议。
原文链接：https://dl.acm.org/doi/10.1145/3654777.3676386
项目链接：https://github.com/AkimotoAyako/VisionTasker