iADD: 改善扩散策略优化中的对齐与多样性

摘要

本文研究基于强化学习的扩散模型后训练（如 Denoising Diffusion Policy Optimization，DDPO）：这类方法在奖励函数下优化逆扩散过程，但现有奖励优化往往以牺牲多样性与质量为代价。作者从理论框架出发，用数学方式证明，仅更新扩散模型较后时间步可能损害多样性——这与此前一项工作的结论相反。基于坚实的理论基础，他们提出基于增量 Feynman-Kac 的训练方法 iADD，以求获得迄今最佳的对齐—多样性权衡。实验覆盖三类任务，将该方法与相关扩散策略优化方法进行比较，并对各组件做了充分消融，验证其在对齐与多样性上的性能提升。