SPADE: 自适应合成可执行环境中的自我对弈

摘要

SPADE是一种自我对弈强化学习框架，其中单个大语言模型扮演两个角色：环境设计器编写具有OpenAI Gym风格reset()/step()接口的完整长时程训练环境，推理代理学习在其中行动。环境设计器通过优化代理的遗憾信号（有/无特权提示的奖励差距）来生成位于代理能力边缘但可行的环境。关键组件包括基于大型预训练语料库文档的环境设计器基础，以及累积环境记忆。扩展到30B参数模型后，SPADE在八个保留基准上平均比最强固定环境基线提高5.3分，在BFCL-v4多轮和ACEBench-Agent上分别提升5.7和13.9分。