当AI评审训练AI审稿人: 科学判断崩塌与缓解

摘要

大型语言模型日益参与科学评估，AI同行评审可能递归：后续审稿人学习先前模型产生的判断。研究在受控环境考察反馈回路一步：从 Llama 3.1 8B 出发，先用 2018--2023 年官方 ICLR 评审微调审稿人，再用 ICLR 2024 数据训练四个后继模型，按不同比例混合官方与模型生成评审。引入合成评审会压缩评分分布，降低同一论文与语料库层面的语义多样性，作者称之为“科学判断崩塌”。为缓解此模式，他们提出开源系统 TrustReviewer，基于 LLM 生成 AI 与机器学习论文同行评审：训练时用精选语料单阶段训练核心审稿人，减少低质量和语义退化监督；测试时用成对激活引导进一步缓解残余崩塌倾向，无需额外训练或额外专家标注。结果刻画递归审稿风险，并提供保持判断多样性、改善推荐对齐的干预。