标量伴随匹配Q学习: SQAM在OGBench四个最难域成功率超最强基线18至35个百分点

摘要

离策略强化学习微调流策略以超越示教备受关注，但针对价值函数微调并不简单：策略需经多个流步骤生成动作。伴随匹配可将最终动作价值信息回传到各流步骤，但每一步都需计算向量-雅可比积。预训练流策略的批平均速度雅可比集中于对角线，据此推导出闭式标量伴随：用流时间缩放最终动作的价值梯度，消除逐步骤向量-雅可比积。标量伴随下需控制策略生成动作处的评论家价值，为此提出SQAM，将标量伴随与价值惩罚结合。SQAM收益集中在OGBench四个最难域，成功率比最强基线高18至35个百分点；真实双臂机器人上微调视觉-语言-动作策略，三个任务均优于监督微调。