VA-Judger: 面向音视频联合生成的奖励建模

摘要

联合视频-音频生成模型的后训练需要奖励信号，但现有方法分别评估音频、视觉和同步等维度，未能捕捉文本、视频与音频之间的整体语义和时间连贯性，易致奖励黑客行为。为此，研究者构建了大规模人类偏好数据集VAPref-10K，含9K提示和10.3K细粒度配对比较；提出基准VA-Judger-Bench，包含域内与域外比较以检验奖励模型是否真正对齐人类偏好；并推出链式思维全能奖励模型VA-Judger，通过分阶段学习与逐维度强化学习提供更密集的奖励信号。实验表明VA-Judger在预测人类偏好上优于基线，用于后训练可显著提升生成质量。