On-Policy Self-Distillation 中推理路径坍缩的三项调控杠杆综述

摘要

On-policy distillation 让教师模型逐 token 评估语言模型自身生成结果，结合模仿学习的稠密监督与强化学习的在策略采样。On-Policy Self-Distillation（OPSD）则由同一模型在参考解、计划或环境反馈等特权信息条件下充当教师；教师并非更强，只是信息更充分。早期结果显示，其准确率可与强化学习相当，且生成 token 数显著更少。但这种信息不对称也会带来偏差，表现为推理路径集合逐渐收窄的坍缩。本文聚焦数学推理，不报告新实验，提出以 token 权重、特权信息性质及教师动态与指导衰减三项杠杆分析坍缩，并区分已定论与仍有争议的问题。