关键词匹配高估小模型的工具调用: 一套廉价的诊断阶梯

摘要

关键词匹配基准会给从未真正调用工具的小模型记功：一对架构相同的661.6M与1,109M参数安全模型在宽松指标B4上几乎同分（0.660对0.650），而训练样例的逐字复现检查将二者完全分开（6/6对0/6）。首token探针把1,109M的失败定位为缺失先验（ < |tool_call|>概率10^{-4}–10^{-5}），被其网络数据为主的训练阶段抹去。针对性SFT（5倍学习率、2,202步、约3.3 GPU小时）用少三个数量级的token修复它：269行语料有效发出率由0.100升至0.959（661.6M为0.926），238条未见提示通过率0.536对0.428（p=0.004），触发token的绑定嵌入未动（bf16表97.7%逐位一致）。两模型均过度触发（0.09、0.17），多样语料的抑制收益仍是假设；整套诊断阶梯只需数分钟CPU时间。