MolmoMotion: 语言引导的3D运动预测

摘要

艾伦人工智能研究所发布MolmoMotion模型，给定视频帧、物体上的3D点和动作描述，可预测未来几秒内点的3D轨迹。该模型在性能上大幅超越现有预测方法。同时发布MolmoMotion-1M数据集（含116万视频）和经人工验证的基准PointMotionBench（含2700个视频片段）。这些预测轨迹可驱动机器人规划和以轨迹为条件的视频生成等下游应用。模型权重、数据集和基准均开源。