面向机器人策略训练与评估的交互式世界模拟器

摘要

传统机器人学习依赖真实机器人采集演示和评估策略，耗时昂贵且难以复现。我们提出交互式世界模拟器：一种学习式的、以动作条件化的视频预测模型，仅根据当前图像和动作序列预测后续像素帧，无需物理引擎。在单个RTX 4090上以15 FPS运行超过10分钟，预测视频稳定且物理合理。该方法可降低数据生成成本并实现可扩展的评估。我们在四个任务上训练：T型推（刚体接触）、绳索布线（柔性-刚性交互）、抓取杯子（精细夹爪动力学）和扫堆（物体堆操作），全部仅从交互数据学习，无硬编码物理先验。