详解具身智能元老SayCan｜机器人和大语言模型如何互利共赢

详解具身智能元老SayCan｜机器人和大语言模型如何互利共赢

引用

CSDN

1.

https://blog.csdn.net/soaring_casia/article/details/142491664

大语言模型（LLM）技术日益发展壮大，AI在自然语言处理领域的成就也十分显著。然而，实现机器人对复杂自然语言指令的精准理解和高效执行，一直是机器人技术领域的一大挑战。近期问世的SayCan方法，为这一难题提供了创新性的解决方案，成功架起了LLM与机器人操作规划之间的桥梁，堪称该领域的里程碑式成果。目前很多LLM应用到具身智能的工作都基于这篇“元老级”的SayCan方法，展现了其在该领域的深远影响。

1. SayCan：机器人操作规划领域的新纪元

SayCan以其开创性的方式，首次将LLM与机器人技能紧密结合，不仅推动了LLM在机器人操作规划中的应用，更为后续研究奠定了坚实的基础。与传统依赖固定规划算法的机器人系统不同，它巧妙融合了LLM的高级语言理解能力与机器人技能的物理执行能力，实现了从抽象语言指令到具体物理操作的无缝转换。

1.1 SayCan的核心创新

• 语言与技能的深度融合：SayCan利用类似GPT-3的LLM解析复杂的自然语言指令，生成可执行的操作计划。通过评估每个技能的有用性和潜在成功率，SayCan能够智能选择最优执行路径。

• 多模态决策的精准性：该方法将LLM的语言理解与机器人操作的物理世界affordance相结合，通过综合评估每个技能的可行性，确保机器人行为的可靠与高效。

2. SayCan的工作原理揭秘

SayCan的核心原理是将语言模型与机器人技能相结合，使得机器人可以理解并执行复杂的自然语言指令。其独特之处在于，它通过多模态融合实现了自然语言的高层次语义理解和机器人技能的物理执行相结合，解决了机器人规划和操作中的多项关键挑战。下面我们具体展开这一过程。

2.1 大型语言模型（LLM）的高层语义理解

在SayCan 中，LLM扮演着理解指令并生成分步计划的角色。具体来说，当机器人接收到一条复杂的自然语言指令（例如“去厨房，拿一个杯子，倒一杯水”）时，LLM会根据其预训练的语言知识，对指令进行分解，并提取出关键的操作步骤。

LLM的作用与流程

• 自然语言指令解析：LLM通过提示工程（Prompt Engineering），被指导生成包含一系列操作步骤的计划。这些步骤由语言描述，可以是“走到桌子旁”、“抓住杯子”等。

• 技能候选生成：对于每个操作步骤，LLM会根据上下文生成多个潜在的机器人技能，并通过评分系统对这些技能进行排序。每个技能的评分基于 LLM 的语言理解，表示该技能完成当前操作的可能性。

• 具体解释：比如，“走到桌子旁”这一步，LLM可能会给出多个候选技能，如“前进1米”、“转向90度后前进1米”，并给出每个技能的语言理解概率。

2.2 机器人技能的物理实现与Affordances

LLM仅仅为机器人提供了高层次的语义指引，但这些操作步骤能否成功完成，仍取决于机器人实际的能力。因此，SayCan 在 LLM 提供的高层理解基础上，结合了机器人技能的affordances来决定每一步操作的可行性。

Affordances与成功概率

Affordances是指机器人在当前物理环境中能够执行某个动作的可能性。它根据机器人与环境的交互条件（如距离、位置、抓取角度等）评估执行某个动作的难易程度。例如，机器人是否能够抓住一个物体或是否能够行走到某个位置，都会通过affordances来衡量。

• 技能的值函数：每个技能都有一个预定义的值函数，表示该技能在当前环境下成功执行的概率。这些值函数是通过强化学习（RL）或模仿学习（BC）得来的，能够根据机器人的传感器数据（如位置、距离等）评估执行技能的难易程度。

• 物理条件的融合：SayCan将LLM提出的技能有用性概率与该技能的成功概率相结合，通过概率乘法来计算综合成功率。这个综合概率衡量了某个技能在当前环境中实现指令目标的可能性。最终，SayCan 会选择综合概率最高的技能进行执行。

• 具体解释：例如，在“抓住杯子”这个步骤中，LLM可能会建议“抓取物体”这一技能。而机器人的affordances模型会基于当前的物理环境（如机器手与杯子的距离、抓取角度等），计算出成功抓取的概率。如果这个概率较低，SayCan可能会优先选择其他更稳妥的技能。

2.3 动态规划与执行反馈

SayCan的核心不仅仅在于单步指令的执行，它还能通过一个动态规划过程确保任务（如去倒一杯水）能够逐步推进。

• 动态调整计划：在每个步骤执行后，SayCan会根据机器人的当前状态实时更新提示，并重新查询LLM，以生成下一步的最佳操作计划。这个过程会持续迭代，直到指令的所有步骤都执行完成，或遇到一个终止技能。

• 错误恢复与适应性：如果某个步骤执行失败，SayCan可以根据当前环境的反馈，重新规划后续的操作路径。例如，如果机器人在抓取杯子时失败，它可以自动调整姿态并尝试重新抓取。

• 具体解释：如果机器人执行“倒水”时没有准确倒进杯子，SayCan可能会分析失败的原因并重新调整手臂的位置，确保任务最终完成。

2.4 多步骤任务处理与复杂指令

SayCan的另一大优势是能够处理包含多个步骤的复杂指令，尤其是超过10步的任务。在这种情况下，LLM和机器人技能的结合尤其重要，因为需要考虑的不仅是每一步操作的成功，还需要合理规划操作的顺序。

长指令的分解与执行

• 任务的分步计划：SayCan能够将一个长达多步骤的任务拆解为多个独立但关联的子任务。例如，对于“去厨房，拿杯子，倒水”这样一个指令，SayCan会首先生成“移动到厨房”、“找到杯子”、“拿起杯子”、“倒水”这样的子任务序列。

• 步骤间的衔接与上下文处理：每个子任务的完成状态会作为上下文信息反馈给LLM，指导下一步操作。这确保了任务的连续性和合理性，避免因为某个步骤的失误而导致整个任务中断。

3. 实验验证：真实环境中的卓越表现

• 任务多样性与复杂性：SayCan在真实世界的厨房环境中执行了101项任务，这些任务不仅包括简单的物品拾取和放置，还涵盖了长期、多步骤的复杂指令，如清理溢出的饮料并带来清洁工具。

• 规划与执行成功率：在模拟厨房环境中，SayCan的规划成功率为84%，执行成功率为74%。当将实验环境转移到真实的厨房时，尽管存在环境变化和不确定性，SayCan仍然展现出了良好的泛化能力，规划成功率为81%，执行成功率为60%。

• 性能提升：与未经过现实世界约束的LLMs相比，SayCan通过其多模态决策机制显著提高了任务执行的准确性。这种提升在论文中体现为执行准确性提高了约15%，这表明了将语言模型与机器人的实际能力相结合的有效性。

• 多模态决策机制：SayCan的成功归功于其能够将语言模型生成的高级语义知识与机器人的物理能力（通过预训练的技能和价值函数表示）相结合。这种结合不仅提高了任务的完成率，还增强了系统的可解释性和鲁棒性。

4.总结

SayCan的诞生，标志着LLM在机器人操作规划领域的应用迈出了关键一步。通过深度融合语言理解与物理执行能力，SayCan不仅提升了任务执行的准确性和效率，更为机器人技术的未来发展描绘了更加广阔的蓝图。随着技术的不断进步和完善，SayCan有望在更多复杂场景中发挥重要作用，持续推动机器人技术的创新与飞跃。