TutorMoments: AI导师知道何时该帮助、何时该放手吗?

摘要

艾伦人工智能研究所发布TutorMoments预览，这是一个基于真实一对一数学辅导记录的框架，用于评估大语言模型在“何时帮助”与“何时放手”之间的平衡能力。教师标记关键决策点，模型在模拟会话中接管辅导。结果显示，模型倾向于过度帮助，很少推动学生深入思考；明确提示权衡可改善表现，但仍不及人类辅导的适应性，且模型间差异大。团队公开了去标识化的辅导记录、回放代码及模型回放，以促进可复现研究。