RGPO: 以自适应理由脚手架缓解强化学习中的奖励稀疏

摘要

在线策略强化学习常受限于奖励稀疏：模型在难题上难以发现正确轨迹，优化过程缺乏有用信号而可能停滞。现有方法依赖与强化学习任务格式一致的辅助数据，常需用更强模型做拒绝采样。Rationale-Guided Policy Optimization（RGPO）依据模型当前能力自适应引入真实理由信息，同时保留其探索自由：参考解不作为固定模仿目标，而是临时脚手架，理由帮助模型生成更优回答后，只把奖励更高的模型生成解回传到原本的无引导设置，因此不要求离线数据遵循同一格式。在纯语言与视觉-语言推理设置中，RGPO 均稳定优于 RLVR 基线；消融研究表明自适应理由引导是这些提升的关键因素。