MM-ABC: 通过“看、协调与想象”实现通用移动操作

摘要

MM-ABC 是围绕“看、协调与想象”的臂-基协同构建的移动操作基础模型：以稀疏多级 VLM 特征进行空间感知；训练阶段加入以世界想象和几何意图为额外监督的未来分支；并用 MM-APT 通过掩码联合注意力与 clean-action x-prediction 协调操作和移动两条动作流。受控消融显示，把 clean-action 预测换成速度预测，使 RoboCasa365 composite-seen 任务成功率从 32.8% 降至 29.2%，而移除未来监督或多级条件化带来的下降更大。模型在 5,000+ 小时、400K+ 回合、12 个数据集、17 种本体的异构机器人数据上预训练，实验覆盖 EBench、RoboCasa365、ManiSkill-HAB、LIBERO、LIBERO-Plus 及真实移动操作，成功率分别为 44.71%、61.2%、99.1%、82.8%（未做扰动训练）与五项真实任务 83%。