渐进式视觉规划的世界行动模型 ProWAM: 用稀疏子目标引导机器人控制

摘要

ProWAM 是一种渐进式世界行动模型：给定初始观测与指令，它联合预测动作与一组有序的稀疏视觉子目标，为动作生成提供显式视觉引导。子目标预测可从大规模无动作视频中学习，视频骨干只需一次前向传播即可缓存子目标特征，重规划时仅需轻量动作去噪，避免迭代生成完整视频。仿真评测中，ProWAM 在 LIBERO-Plus 达 85.8%、随机化 RoboTwin 达 75.7%，相对最强基线最高提升 +35.9%；RoboCasa365 成功率 48.1%，Composite-Unseen 分割 18.2%，总排名第 4。新场景零样本真实实验成功率 70.0%，高于最强基线的 55.0%（+15.0，相对 +27.3%）。