JUAN LI · AI4SCIENCE

每日简报

最近值得追踪的 AI4Science 动态

从有可靠来源、已完成中英文整理的动态中,优先挑选信息完整、便于核验的事件。简报由 AI 自动编排,条目默认为 AI 生成、未逐条人工审核(人工复核条目单独标注),引用科学结论前请核验原始来源。

精选依据:只收录有可靠来源、已完成中英文整理的 AI4Science 动态;优先保留信息更完整、便于核验的事件。

1 条
01

《Unmask the State》:掩码扩散语言模型何时需要状态自适应

掩码扩散语言模型(MDM)允许灵活的生成顺序,因此解码时的解掩策略属于推理决策。现有方法在位置优先级、并行度控制、区域限制、结果修正与未来去噪规划上各有不同,但何时调整这些选择并不清楚。作者以“策略反转”(备选动作优于固定动作)研究该问题,将MDM推理归纳为五个维度——评分、数量、区域、承诺与规划,并把“适应机会”定义为最优候选动作相对验证集选定固定动作的单步效用优势;适应价值取决于反转的频率与幅度。在3个MDM、10项任务上,适应机会高度异构,部分区间呈现集中且可预测的单步收益。由此提出选择性自适应:用验证提示校准的轻量检测器识别高机会状态,例如在LLaDA-8B受限JSON填充中,仅对前10%的状态做自适应,即可捕获候选集oracle机会的56.9%。结果提示状态自适应宜选择性而非均匀施加。

站内阅读原文

前一日 · 后一日

回到完整动态与证据 →