Agentic ESOpt: 以极低GPU需求微调长程LLM智能体

摘要

强化学习（RL）在单轮LLM微调中表现出潜力，但长程智能体推理面临分支多、奖励稀疏等问题，且其基于反向传播的训练栈对GPU内存需求高，信用分配困难。本文提出进化策略（ES）作为更优选择，具有模型可扩展性、灵活性和长程可扩展性等优势。基于此，作者提出Agentic ESOpt框架，通过在线奖励加权更新和扰动尺度余弦衰减调度，实现参数-上下文协同进化。在WebArena-Lite上，对Qwen-3.5-27B的全参数优化使No Skill基线提升6.69%；在测试时自动启发式设计中，28/36个设置优于匹配基线。