《MInTRL》: 以最小干预扩展在策略强化学习的探索边界

摘要

面向可验证奖励的强化学习通常采用在策略方式，探索局限于策略自身能发现的轨迹；离策略方法可利用外部知识，却可能带来较大的分布偏移。MInTRL 在基本保持在策略的采样中引入稀疏、局部的干预：生成阶段由 judge-intervention 策略定期检查当前策略输出，用简短纠正替换错误后缀后立即交还控制权；训练阶段采用序列级优势回归目标，从而无需重要性采样。作者称，稀疏局部干预在有限预算的在策略采样之外显著提升覆盖度，同时保持轨迹整体的在策略性质。在数学与代码基准上，MInTRL 稳定优于标准在策略与离策略基线；消融实验显示其在自干预和不同 judge 策略下依然有效，且干预强度适中时性能最佳，说明干预应保持最小化。