在线策略还是离线策略?蒸馏动态的系统研究

摘要

在线策略学习常被指能减少灾难性遗忘、让参数更新更稀疏并提升泛化，但以往监督微调与强化学习的比较同时改动诸多因素，难以分离 rollout 策略的作用。该研究在受控强到弱蒸馏中独立改变 rollout 策略、token 级 KL 方向与学习率，覆盖 Llama3 与 Qwen2.5 模型家族及科学、医学、算术推理任务。结果显示 rollout 策略未必起核心作用：KL 方向更明显影响任务表现与输出覆盖，学习率主导遗忘与更新稀疏性。梯度分析及连续学生—教师策略谱实验表明，前向 KL 对策略变化稳健，反向 KL 更敏感且偏好学生 rollout。在线数据能提升 Countdown 更难变体的泛化，但后续 RLVR 后优势不再稳定保持；去掉梯度裁剪、采样 KL 估计和更长推理链任务时结论仍稳健。