V-RAE: 重新思考视频潜在空间以用于生成

摘要

V-RAE 提出一种视频表示自编码器，在冻结的视觉基础模型表示上构建紧凑的生成潜在空间。其轻量时间池化模块去除时间冗余并保留语义结构，视频解码器从压缩特征重建连续运动。在 K600 上，V-RAE 的 rFVD 达 2.13，优于所有评估的大规模预训练视频 VAE；在 UCF101 和 K600 上，其最佳变体在匹配生成设置下 gFVD 分别为 117.86 和 19.16，且收敛速度提升高达 6 倍。引入的 tFVD 指标能更可靠地关联下游生成质量。在 Cityscapes 上，V-RAE 对未来视频预测也优于 Wan 2.2 VAE 潜在空间。实验表明，冻结的语义表示可支持视频重建、生成和预测建模。