《Dynin-Robotics: 全模态统一扩散视觉-语言-动作模型》

摘要

该研究提出 Dynin-Robotics，以全模态掩码扩散主干 Dynin-Omni 将语言、视觉观测、目标和动作统一表示为离散 token，并通过共享轨迹模型把预测引入动作生成与筛选。改变条件与目标片段后，同一模型可学习动作预测、动作条件下的下一观测预测、终态目标预测以及轨迹到指令的重建，从而支持目标引导、候选动作评估与联合精修等测试时扩展。模型在 Open X-Embodiment 的 48 个数据集约 133 万条轨迹上持续预训练。在 VLABench 两项任务中，机器人预训练在固定 Stage-2 步数预算内改善适配；目标引导与动作-下一状态联合去噪的组合进一步提高指令偏移条件下的成功率。在 LIBERO 与零样本 LIBERO-Plus 上表现有竞争力，Franka Research 3 机器人四种操作条件的平均成功率为 78.4%，优化后的块并行实现使模型侧动作解码最高加速 29.2 倍。