OPPD: 序列级幂分布的在策略蒸馏, 一次生成即获锐化收益

摘要

语言模型给正确答案的概率虽高于任一单个错误答案，却仍常采到错误答案。OPPD 让被训练模型生成候选，用冻结教师的幂分布以序贯蒙特卡洛加权，并以同一权重做最大似然更新，使模型一次生成即获得锐化效果。训练后单次生成较未训练模型同温度在 MATH500、GSM8K 最高分别提升 23.0、27.3 分，比 64 候选的已发表幂采样高 2.4、3.5 分，找回 16 候选所给增益的 94%。相较同检查点、同预算的 GRPO，OPPD 在 MATH500、GSM8K、AIME 分别高 3.8、4.0、5.4 分且不用参考答案；GRPO 之后再做最多再加 9.3 分。仅以数学训练也使 HumanEval 最高升 5.3 分。