《Unmask the State》: 掩码扩散语言模型何时需要状态自适应

摘要

掩码扩散语言模型（MDM）允许灵活的生成顺序，因此解码时的解掩策略属于推理决策。现有方法在位置优先级、并行度控制、区域限制、结果修正与未来去噪规划上各有不同，但何时调整这些选择并不清楚。作者以“策略反转”（备选动作优于固定动作）研究该问题，将MDM推理归纳为五个维度——评分、数量、区域、承诺与规划，并把“适应机会”定义为最优候选动作相对验证集选定固定动作的单步效用优势；适应价值取决于反转的频率与幅度。在3个MDM、10项任务上，适应机会高度异构，部分区间呈现集中且可预测的单步收益。由此提出选择性自适应：用验证提示校准的轻量检测器识别高机会状态，例如在LLaDA-8B受限JSON填充中，仅对前10%的状态做自适应，即可捕获候选集oracle机会的56.9%。结果提示状态自适应宜选择性而非均匀施加。