GPT-Policy: 用 VLM 智能体进行上下文机器人学习

摘要

让机器人适应陌生环境是具身AI的长期目标。有限演示无法覆盖所有情境，部署时的上下文学习（ICL）对泛化至关重要，但现有机器人策略难以实现。商用视觉语言模型（VLM）如 GPT-6 Astra 能否从演示、示例和交互反馈中学习，并在新初始状态下输出可执行、可验证的机器人行为，且无需梯度更新或持久改变任务参数？作者提出 GPT-Policy：上下文编译器保留任务相关视觉转换，VLM 提出机器人工具动作，约束控制器验证、执行并报告结果。研究以任务成功率、效率、跨模型比较和上下文消融评估其可靠性与局限。机器人试验中，人类视频演示即使无机器人动作标签也提升任务完成率；对齐动作参考在接触敏感任务上进一步增益。