AdviSD: 通过定向多轮自蒸馏学习给前沿 LLM 提建议

摘要

可训练的小型 advisor 以自然语言建议引导冻结的 LLM 执行器。作者证明：在共享参数模型中，当某些修正对有用建议的偏好弱于其他修正时，逐条学习这类修正会限制学习；较少地采纳它们反而能提升最终性能。据此提出 AdviSD，将基于结果的强化学习与来自反馈条件化 advisor 副本的选择性自蒸馏配对——反思环节给出修正，advisor 对同一条执行响应在有无建议时分别打分，以分差大小挑选需要监督的决策，无需执行器似然或额外采样。在 Gemini 与 Claude 上用 Qwen3-8B 作 advisor 时，AdviSD 在 BFCL-v3 上比 advisor-GRPO 高 4.2–6.4 个百分点，在 EnvScaler 上高 3.9–5.1 分；advisor 还能泛化到分布外任务、跨执行器版本与模型家族迁移，并优于等量随机选择。