AI 比较判断的高一致率，能说明什么？

摘要

公司报告大规模人机判断一致性；一致不自动等于评价有效或学生学会。

No More Marking 报告约 7 万篇七至九年级作文、177 所学校的混合评价。教师作出 133,983 次比较判断，AI 与其一致的比例为 83%；多数学校使用约九成人工智能判断。

它把单篇直接打分改成两篇比较，并保留教师参与。需要继续问：共同形成的分数尺度是否提供足够独立的验证？可靠性、偏差、可被操纵程度和学习收益仍是不同问题。

厂商自述；并非独立效度研究，未验证延迟、无 AI 写作能力。