EnvHarness: 唤醒静态世界以进行智能体学习

摘要

大型语言模型智能体通过与环境的交互学习，但现有环境多为手工构建且静态不变，难以适应智能体的弱点并随其进步而更新。尽管已有环境生成方法尝试解决，但往往依赖领域特定流程、昂贵或不可靠的验证器，且仍生成静态环境。为此，我们提出环境绞盘（EnvHarness），一种可编程的插件组件层，封装静态环境以重塑其行为而不修改底层逻辑，通过标准接口适用于多种领域，并保留原始验证器。为自动化该过程，我们引入EnvRigger，将目标策略视为黑盒，观察其执行轨迹以合成EnvHarness组件，并通过新的rollout进行验证。在四个领域的五个基准上，EnvHarness优于原始环境和领域特定的环境生成流程，在保留样本上最高提升9.0分，执行步骤减少9.8%。此外，EnvHarness为强化学习提供了更优的优化信号，支持策略与环境的持续定向协同进化。