Sherpa: 让大模型教师按学生偏好调整教学的多轮强化学习框架

摘要

现有训练大模型当教师的方法依赖示范数据、偏好数据或预设教学标准，往往与学生个人的学习效果脱节。研究提出多轮强化学习框架 Sherpa：用大模型模拟出具有不同学习偏好的学生原型，让教师模型直接以最大化学生学习效果为目标来调整讲授方式。结果显示，经 Sherpa 训练的教师使所有原型学生的成绩平均提高 20.5 个百分点；在 MathTutorBench 评估中，整体教学分数由 52.5% 升至 79.2%；人工评测里，79.6% 的成对比较中受训教师比基座模型更受青睐。