ASI-Bench: 迈向超级人工智能的曙光

摘要

ASI-Bench是首个跨通用研究领域联合评估AI创新探索与自主科学执行能力的基准，也是首个在同一研究项目中逐步撤回方法学指导以测试AI独立完成度的基准。由40余位专家投入31,000+小时构建，涵盖11个科学领域的60个项目级任务。在18种先进智能体-模型配置中，平均得分从完整方法学指导下的50.91降至仅指定方法时的29.10，以及需自主决定方法时的26.62，表明当前系统仍高度依赖人类指导，难以自主进行端到端的项目级科学研究。该基准现已开放，欢迎全球研究者贡献新任务。