快决策模型何时该交出控制权: 双过程智能体的门控切换研究

摘要

研究构建了一个双过程智能体：快速学习型actor处理全部决策，仅在门控开启时把控制权交给推理视觉语言模型，游戏同时继续进行。实验采用闭环Doom与新公开的“System One”typed-decision模型，经统一llama.cpp接口运行。在900道留出问题上，(i) 0.15B至9B参数的零样本决策模型在错误中选择收集物品的频率为随机的1.6–1.8倍，与选项顺序无关，但顺序会影响部分模型的准确度；(ii) 准确度、校准与敏感度彼此独立，准确度相近的模型AUROC差异很大；(iii) 离线将最不自信的30%决策交给推理模型，收益随actor的AUROC按秩相关0.87增长，doomLaya选项顺序下为+0.13 [0.08, 0.18]，打乱顺序后为+0.08 [0.02, 0.14]，推理贡献约一半；(iv) 闭环33局、三个随机种子下，无变体到达出口。作者公开了代码、提示、数据与日志。