SemComp-Bench: 视频生成中语义任务完成的基准测试

摘要

我们引入了语义任务完成视频生成，这是一个以结果为导向的视频生成任务，要求同时实现预期结果和语义接地。语义接地表征参考图像与生成结果之间与任务相关的高层语义对应。为支持系统评估，我们构建了SemComp-Data，覆盖六个领域，每个实例包含参考图像、详细指令、简短指令和以结果为中心的视频片段。可扩展的四阶段策展流程将原始视频标准化为SemComp-Data实例。我们进一步提出了SemComp-Bench，一种使用视觉语言模型（VLM）回答结构化二元问题的评估协议，报告OA评分和GR评分。实验表明，在维持任务相关语义接地的同时实现预期结果仍具挑战性。