RoboJEPA: 多本体机器人潜世界模型的缩放规律

摘要

研究提出 RoboJEPA，一种基于 JEPA 的机器人潜世界模型，训练数据覆盖 12 种机器人本体。其想象误差（潜变量 rollout 的误差）随算力呈二阶幂律变化，可据此外推预测远超拟合规模处的模型质量；下游机器人规划性能随算力可预期地提升，且想象误差与之强相关，可作为真实机器人评估的可靠代理。该潜世界模型还能零样本部署为智能体，仅以单张目标图像为引导，在真实硬件上完成需要长时程规划的任务。作者公开了全部模型检查点及训练、部署代码，并称这是首个在真实机器人数据上建立多本体机器人世界模型缩放规律的工作，8B 参数的 RoboJEPA 是迄今训练出的最大的 JEPA 预测模型。