MoE强化学习中的专家空间探索: 显式利用路由结构提升rollout多样性

摘要

研究提出 Expert-Space Exploration Reinforcement Learning (ESRL) 框架，在MoE模型的强化学习后训练中显式探索专家路由空间。经验分析显示，扰动专家路由能改变模型输出、增加rollout多样性，效果类似提高解码温度；但直接扰动会激活不合适的专家，显著降低rollout质量。ESRL保留高置信专家作为锚点，将随机路由限制在合理的候选池内，并依据router熵调整扰动强度以避免过度扰动；同时记录rollout阶段使用的专家路径，在策略优化时回放，以缓解扰动带来的路由不匹配。实验表明，ESRL在top-K、top-1、共享专家路由的MoE骨干，以及数学、科学、代码任务上均取得最佳表现，且无需额外采样或计算开销；其中在Qwen3-30B-A3B上较GRPO的平均Pass@1与Pass@8分别提升3.2和4.5个百分点。