Never Give Up (NGU): 用自适应采样缓解RL训练LLM的“马太效应”

摘要

研究发现，用RL训练LLM的收益在数据集上并不均衡：模型本来擅长的简单题提升明显，困难题提升有限，作者称之为RL for LLMs中的“马太效应”。其解释是困难题需要更多算力才能找到解，而现代RL方法在简单题上浪费了过多算力，应当动态重新分配算力。为此提出简单自适应采样方法Never Give Up (NGU)：对一个问题持续采样直到得到正确答案，结合异步RL，自然地用更少样本筛除简单题，把更多算力分配给难题。文中还考察了off-policy鲁棒性等影响NGU的设计选择，并总结了一组最佳实践。在数学基准Deepscaler上，NGU提升了单位算力的性能，在更难的问题上尤其明显；在编码任务Manufactoria上，带逐测试奖励的标准GRPO无法完全解出难易测试混杂的题目，而NGU不断迭代，逐步攻克更难的测试，最终学会完整解决编码问题。