特权信息为在线策略自蒸馏(OPSD)增添了什么?

摘要

为厘清特权信息对在线策略自蒸馏（OPSD）的独立贡献，构建 AMPLE-Math：含 5,319 道数学题、每题六种共享同一答案的推理视图，并与匹配的无参考蒸馏比较。启用思考的教师监督直接回答式 rollout 时，无参考蒸馏解释了 Qwen3-1.7B 在思考启用评估下的大部分提升，领域内外皆然。Qwen 中额外参考收益证据有限，精修解答最强；SmolLM3-3B 第 50 步完整轨迹提升两个百分点，收益取决于学生。同检查点下，把短直接回答 rollout 换成启用思考的长 rollout，在问题、参考和评估不变时，两模型家族均由增益转为损失。Qwen 的教师画像与匹配损失干预显示，改变 token 级监督可基本不改变学生行为。提示 OPSD 或许通过两种推理模式共享的参数改善既有推理能力的调用；特权参考的价值在于跨模式迁移增益，而非揭示多少解答。