纠正何时才算修复?工具调用大模型内部干预的机制审计

摘要

研究提出SAKIKO审计框架，用于判断大模型在调用外部工具之前的内部激活干预究竟是行为纠正还是真正的表示修复，其流程包括方向性错误发现、按路由器条件化的干预、目标落点解析验证以及前瞻性冻结的统计许可。在When2Call和MetaTool上测试七个大模型，按通道键控的干预在其中五个模型带来方向特异的净收益；三项封存评估中，59个等预算随机方向无一匹配校准后的目标增益。但目标落点审计表明行为变化不等于修复：一项获得+55净增益的干预破坏了其所触及的基线正确决策的一半以上；Qwen3-4B与Gemma-2-9B上看似乐观的点估计因有限样本不确定性被正式否决。