LEGO-RL: 面向编码代理的原生强化学习框架

摘要

LEGO-RL 是一个框架，在不修改内部控制流的情况下，将原生编码代理环境与可扩展的策略梯度优化相结合。它通过进程内 LLM 代理实现忠实优化，通过可扩展沙箱编排确保可靠执行，并通过集成插件和实时界面实现可观测训练。在 SWE-bench Verified 上，使用 GSPO 训练稀疏 MoE 模型 Qwen3.5-35B-A3B，在 OpenHands SDK、Claude Code 和 OpenCode 上分别将准确率提升至 70.4%、68.2% 和 66.6%（原为 64.0%、62.4% 和 57.2%），并保持 rollout-训练概率相关性超过 0.99。