《Ego2Act》: 第一人称视频生成中的目标导向操作评测

摘要

Ego2Act 是一个面向目标导向操作的基准，包含来自 110 项真实世界任务的 2,640 段视频，覆盖日常场景、不同物体杂乱程度与多步复杂度。给定初始场景图像与高层目标，该基准考察视频生成模型能否生成手部操作物体、完成任务的第一人称视频。研究者还提出无需参考的评估流程 Ego2ActJudge，其在任务完成度与物理合理性上与人类共识的对齐程度优于相关基线。结果显示，模型生成的模拟常跳过或只部分执行步骤，使后续步骤缺少依赖状态，导致目标未能实现；模型在细粒度物理动力学上也持续失败，尤其在复杂物体操作和持续世界建模方面。