τ_0-VLA: 具有世界模型引导的测试时计算的层级机器人基础模型

摘要

长期机器人操作需要可靠地执行单个技能并连贯地组合它们。大多数层级视觉-语言-动作（VLA）模型通过单次前向传递做出决策，无法为困难选择分配额外计算。我们提出τ_0-VLA，一种层级机器人基础模型，通过世界模型引导的测试时计算，将高层子任务生成视为可扩展计算量的推理问题。在每一步，高层策略利用执行记忆生成子任务，必要时搜索替代方案；低层策略跨多种机器人形态执行任务。该策略在40,115小时异构真实世界数据上进行了多模态联合训练。在领域内和分布外设置中，增加测试时计算显著提高下一子任务预测准确性，并提升长期操作任务的闭环成功率。