用 BioMysteryBench 评估 Claude 的生物信息学研究能力

摘要

Anthropic 发现团队研究员 Brianna 在博文中分享了近期生物信息学基准测试工作。文章回顾了大语言模型评估的演进：从 MMLU-Pro、GPQA、LAB-Bench 等侧重专家知识、推理和文献工作的基准，到 FrontierScience、Humanity's Last Exam 等更难的科研推理评测，再到 BLADE、BixBench、SciGym 等面向真实工作流的任务式基准。这类测试旨在判断模型是否足够胜任、可靠，能否支撑甚至完成专业级科研工作；科研人员目前已用模型编写分析管线代码、提出假设并从数据中得出结论。所给摘录未介绍 BioMysteryBench 的具体设计或结果。