AgenticBBO-Bench: 跨域评测LLM智能体的黑箱优化能力

摘要

黑箱优化（BBO）常见于目标评估昂贵且受限的科学与工程问题。现有LLM智能体结合任务语义、计算、优化工具与反馈决策求解BBO，但任务领域和系统配置不一，结果难以比较。为此，作者提出AgenticBBO-Bench，在统一有限预算协议下覆盖合成函数、超参数优化、数据库调优、芯片设计与分子设计五个领域。实验显示，智能体BBO在全部五个领域族平均得分高于直接LLM方法，并在四个领域优于最佳数值优化器。研究还考察优化工具、任务信息与先验知识、LLM在搜索中的作用三因素：额外数值工具未持续提升性能；任务语义普遍有用，而具体先验较不可靠；数值优化器可吸收智能体搜索轨迹带来的增益。最后，提出五任务前沿挑战，在Codex框架下评估七个LLM，GPT-6 Astra和DeepSeek-V4.1-Flash位于性能与成本的Pareto前沿。