When2Think: 面向混合推理模型的难度感知长度控制后训练框架

摘要

大型推理模型（LRM）在复杂任务上表现强劲，却存在系统性低效：常在简单问题上过度推理、在难题上推理不足；而统一长度惩罚或刚性路由等现有方法会带来效率代价，以简单样本的算力削减换取难题上的准确率损失。作者将高效推理表述为实例自适应的算力分配问题，提出后训练框架 When2Think，其核心是实例级难度感知控制（IDAC）：利用预计算的参考统计（准确率与 token 用量）塑造奖励，配合基于验证器的奖励与批内标准化优势，实现无需奖励模型或在线参考模型查询的稳定无批评者优化。实验显示，AIME24 上 Pass@3 提升 10.0%、token 用量相对基线降低 27.9%；AIME25 上 Pass@3 达 40.0%，优于压缩与仅路由基线。