LifeSciBench: 评估语言模型在生命科学领域真实专家级任务中的表现

摘要

LifeSciBench是一个包含750个专家编写任务的基准测试，旨在评估语言模型在真实生命科学研究中的能力。现有基准大多范围狭窄或仅基于知识，无法反映实际研究的复杂性。此基准覆盖七个科学工作流和七个生命科学领域，每个任务配有专家编写的评分标准。在五个前沿和领域专用模型中，GPT-Rosalind表现最佳，任务加权平均归一化评分0.576，任务加权响应通过率36.1%。基准尚未饱和，171个任务（22.8%）无任何模型通过，261个任务（34.8%）最佳模型通过率低于20%。LifeSciBench提供了对实际科学推理和操作决策的高分辨率评估。