Video2Skill: 将流式视频经验组织为可复用具身技能的基准

摘要

研究提出流式具身技能发现（SESD）任务，并推出基准 Video2Skill，涵盖机器人桌面操作与人类厨房活动，考察三项能力：在时间上定位操作事件、将执行相同变换的事件归为一组、判断复用已有技能还是新建技能。在 19 个开源 VLM 上，许多模型的分组表现接近随机水平，扩大规模未必带来帮助。错误取决于感知与技能库更新的耦合方式：联合式模型会把不同变换并成一个技能，而依据文本描述更新技能库的模型则会重复已有的技能。监督微调（包括文中提出的反事实技能库状态再平衡 CLaRe）改善了分组，但暴露更深瓶颈：模型会巩固熟悉技能却很少扩充技能库，库规模停在参考规模一半以下；训练中未见的变换虽能被定位，却几乎不会被赋予新技能。识别现有技能何时不够，才是核心挑战。