《Unmask the State》:掩码扩散语言模型何时需要状态自适应
掩码扩散语言模型(MDM)允许灵活的生成顺序,因此解码时的解掩策略属于推理决策。现有方法在位置优先级、并行度控制、区域限制、结果修正与未来去噪规划上各有不同,但何时调整这些选择并不清楚。作者以“策略反转”(备选动作优于固定动作)研究该问题,将MDM推理归纳为五个维度——评分、数量、区域、承诺与规划,并把“适应机会”定义为最优候选动作相对验证集选定固定动作的单步效用优势;适应价值取决于反转的频率与幅度。在3个MDM、10项任务上,适应机会高度异构,部分区间呈现集中且可预测的单步收益。由此提出选择性自适应:用验证提示校准的轻量检测器识别高机会状态,例如在LLaDA-8B受限JSON填充中,仅对前10%的状态做自适应,即可捕获候选集oracle机会的56.9%。结果提示状态自适应宜选择性而非均匀施加。