BixBench3: 面向研究规模计算生物学任务的AI智能体基准测试

摘要

我们推出BixBench3，一个衡量AI智能体在完整研究规模计算生物学任务中能力的基准。20项任务基于已发表研究，要求智能体根据研究目标、方法指导和原始数据执行分析，并将生成的138个数据产物与原始研究程序化比对。13个前沿模型得分从Gemini 3.1 Flash Lite的0.00到GPT 5.6 Sol的0.48；在原始数据>100 GB任务（0.10）和3步以上分析（0.24）上表现更差。任务平均耗时6.8小时、1.02亿token、43美元；最长尝试24小时、10.7亿token、525美元。最高分智能体反而用更少token、成本更低。