AI智能体在自动科研任务中如何失败: 基于100项真实前沿研究任务的全流程诊断评估

摘要

AutoResearchEval框架包含100项涵盖7个科学领域和完整研究生命周期（构思、检索、执行、分析、写作、评审）的任务，评估了8种框架-模型组合产生800条轨迹，并据此建立包含45种失败模式的ARFT分类。研究发现当前智能体普遍缺乏元认知循环，即无法核对产出与发现、修订不符之处、质疑路径合理性，且在全部组合中均存在，表明该缺陷源于模型层面而非特定框架。