LitReview Arena: 用对战式同行评审平台评估文献综述智能体

摘要

LitReview Arena 提出一种对战式评估平台，让具备AI论文写作经验的领域专家依据五个文献综述专属标准，对匿名草稿进行分维度比较。研究者收集约3000条专家判断，发现即使当前最强系统在总体实用性上对人力草稿的决胜对局胜率也只有23.0%，而 Sonar Deep Research 等智能体化 LLM 比基础语言模型提升超过60%。现有 LLM-as-a-judge 方法与人类专家明显不一致（Spearman's rho=0.467），在论文结构和研究建议等偏重综合的维度上尤其严重。基于这些偏好数据训练的 LitJudge 将一致性提升至0.78，接近专家间一致性；代码与数据已公开。