《QuoteBench: 匹配分数如何掩盖命令路径故障》

摘要

LLM编码代理通过可能序列化、包装和重解析模型输出的接口发出Bash命令。仅凭匹配执行分数无法区分命令生成错误与生成后引入的故障。QuoteBench通过56个一次性任务（源自14个事件家族）进行精确最终状态验证，并刻意引入一个未转义解析器来跨越生成契约与执行传输。转义插值点可重现原始路径结果，因此任何恢复必须来自模型改变生成。在八种同窗口配置中，重放同一回复通过添加的解析器使成功率降低55.4至73.2个百分点；六种配置通过披露恢复30.4至60.7个百分点，其余两种为零或略负。GPT-5.6-sol的匹配差距-3.6点掩盖了-64.3点损害和+60.7点补偿。部署配置重排模型顺序：26个可比对中有一个明确反转，四个位于单任务边缘。评估命令发出代理应报告模型配置、生成契约、执行路径、操作点和最终状态验证器，而非将匹配分数视为内在属性。