大型发现模型: 基于经验、模型驱动的开放式搜索

摘要

科学发现常需优化代价高昂的目标函数，且搜索空间庞大、结构化且开放，如分子、蛋白质序列和计算机程序。生成模型（如大语言模型）虽能提供表达性先验，但其似然和自评估作为目标函数和校准不确定性的代理并不可靠，尤其对训练中未见的新颖候选。为此，研究者提出大型发现模型（LDM）：一种基于经验的循环架构，将生成模型与贝叶斯非参数奖励替代模型相结合。生成模型负责提出和改进候选设计，替代模型预测性能并量化不确定性，产生不确定性感知的价值，引导候选生成、改进和选择。发现记忆和替代模型随每个新实验观测持续更新。LDM在神经网络训练、抗体设计和分子优化三个场景中评估，相比仅用LLM反思或传统统计搜索，LDM实现验证BPB减少2.4倍，结合能相对降低18.2%，分子多目标性能提升超过60%。结果表明LDM可成为开放式假设空间有效搜索的通用发现引擎。