Δ-MOPD: 通过教师相对位移实现多教师在线策略蒸馏

摘要

多教师在线策略蒸馏（MOPD）有两种设置：同域组合中，多个教师对同一提示域的学生输出打分，信号合成单一目标；路由域蒸馏中，不同域提示分配给对应专家。二者通常迁移教师的端点策略，混合后训练改变与基座继承偏好。作者提出 Δ-MOPD，迁移每个教师的“教师减基座”logit 位移，在学生冻结初始化处重新锚定，并与端点监督对比（固定教师选择）。端点迁移受继承基座拉力阻碍，后者可超过后训练位移；移除后教师项范数比与目标—学生 KL 降低。三个教师组合时，Δ-MOPD 比端点组合高 4.11 Math 和 1.95 个五基准点；两个教师时准确率持平。分阶段路由下，它平均性能更高，并将顺序差距从 10.50 降至 6.42 点；交错路由下相当。位移目标在状态处组合教师信号时有用；目标构造是 MOPD 的独立设计轴。