Agent as Policy: 通用智能体直接充当机器人的操作策略

摘要

研究提出 Agent as Policy（AGP），让通用智能体在完全不做任务特定或环境特定训练的情况下直接驱动实体机器人完成全程操作。智能体接收任务与机器人接口后，解读视觉证据、编写可执行程序、下发运动指令，并根据物理执行结果修正行为，使其推理与编程能力持续作用于现实世界。作者在覆盖精密操作、动态运动和可变形物体的多项真实任务上测试 AGP，包括依据人类视频装配、依据目标图像搭积木、骰子重定向、定向投掷和双臂毛巾折叠。在三种积木搭建配置上，成功率分别为 100%、100% 和 80%。