AI 素养课可以教怎样检验提示词
摘要
Wharton 的重复测试提醒:一次好答案不足以证明某个提示词可靠。
团队用同一批难题反复测试 GPT-4o 系列,比较表达方式与判定标准。单题上的显著变化,可能在总体上相互抵消;平均分也可能掩盖不稳定。
策展建议:把这篇当作 AI 素养的实验设计材料,让学习者先定义可靠性,再比较多次输出。论文测试的是模型表现,没有测试这项课堂活动。
特定模型与 GPQA 题库的研究;课堂用途是策展推论,不是已验证的学习干预。
来源与阅读记录
- Lennart Meincke, Ethan Mollick, Lilach Mollick, Dan Shapiro · Wharton GAIL ↗
- 阅读公开技术报告页的方法与结果;未审计原始数据或 SSRN 附件。