AI 评分抗干扰,要按模型和材料来检查
摘要
Wharton 团队测试隐藏指令能否抬高 AI 给论文的分数,发现模型、文本长度和放置位置都会影响风险。
研究使用学生论文与研究论文,反复比较有无简单文本注入的评分。多数前沿模型在多数条件下变化较小,但部分模型和长文条件更脆弱。
即使没有被明显操纵,模型通常也不会主动报告发现了注入。对教师而言,抵抗这类攻击与评分本身准确、公平,是需要分别检验的问题。
限定于所测模型、评分规则、论文与简单明文攻击,不能解释为 AI 评分已经安全或有效。
来源与阅读记录
- Benjamin Wanjura, Dan Shapiro, Ethan Mollick, Lilach Mollick, Lennart Meincke · Wharton GAIL ↗
- 阅读公开技术报告页的方法、结果与限制;未核读 SSRN 附件或逐项检查图中数值。