ScholarCatalyst: 面向“检索启发新研究的论文”的基准

摘要

ScholarCatalyst 针对人类仍领先于 AI 的一项能力展开研究：在不断膨胀的文献档案中，判断新问题需要哪一条既有想法。作者借助自动化流程扩大作者标注规模，让 207 篇近期计算机科学论文的 184 位主导作者标注哪些候选文献推动了自己的项目（或本可推动），并给出详细理由。检索任务要求模型面对一个初始研究问题，仅从项目启动时已有的文献中找回这些论文。结果显示，智能体搜索并不优于嵌入式检索（Recall@20 分别为 0.42 与 0.48），尽管它把同一个检索器当作工具调用；基于 Claude Fable 5.1 的智能体（训练时可能已见过这些完成的论文）也仅达 0.51 R@20。作者据此认为需要新的训练方法，让模型具备在庞大语料中检索的专家直觉。