NAVA-WAM: 从观测视频直接预训练动作策略的世界动作模型

摘要

NAVA-WAM 提出原生动作先验学习，直接从仅含观测的视频预训练动作策略，避免先学视觉表征再迁移到控制、或另建隐动作模型的间接路径。训练分两阶段：先以未来视频的 flow-matching 监督，经过渡结构化联合注意力优化 Action-DiT 并学习与动作相关的先验；再用带动作标注的演示后训练 Action-DiT，通过联合视频—动作 flow matching 实现机器人控制，非对称注意力将视觉分支与迭代动作去噪解耦，支持高效的动作端推理。实验显示该方法在分布内与分布外设定下均稳定优于先前方法，并表现出较强的动作标注效率与真机泛化能力。