DiffGate: 按难度门控教师引导的在策略蒸馏目标

摘要

现有在策略蒸馏（OPD）目标多为逐 token 判别、忽视结果，而基于可验证奖励的强化学习（RLVR），尤其是 GRPO，能提供结果级监督，却面临奖励稀疏、信用分配粗糙、在全部失败的组上奖励消失等问题。作者提出 DiffGate：由验证器决定哪些轨迹接受教师引导——仅对失败轨迹施加教师监督，按组难度缩放，并平滑限幅，避免极端师生差异主导优化。在 Qwen3-0.6B 与 Qwen3-1.7B 学生模型上，代码 avg@8 较匹配的 GRPO 分别提升 1.7 与 1.8 分，pass@8 提升 1.6 与 5.7 分；数学 avg@8 与 GRPO 相差 0.5 分以内，pass@8 提升 1.1 与 3.9 分，四个模型-领域设置的 pass@8 均有改善。