AVA-Encoder: 迈向体智能体原生的视频表示学习

摘要

创意体智能体仍缺乏从高质量人类电影中学习的有效方式，限制了其生成电影级视频的能力。为此，研究者提出体智能体视频自动编码器（AVA-Encoder），一种通过体智能体自动编码学习体智能体原生视频表示的框架。它将视频转换为知识图谱表示，再重建为视频；其层级和状态节点存储结构化文本，关联的资源层保存生成的图像、音频和视频，类型化边保留文本描述与资源间的关系，便于体智能体理解、查询和编辑。重建差异驱动文本梯度优化框架，在外环进行数据无关的编码策略伪训练，在内环进行可选的测试时数据相关图谱表示精炼。实验表明，AVA-Encoder 比最强外部基线提高20.7个百分点；在仅策略的受控设置中，其伪训练的镜头级体智能体视频编码策略优于人工调优策略，且使用系统提示词 token 减少74.3%。研究发布了完整框架、可靠的体智能体视频重建基准和首个高质量电影知识图谱表示数据集。