VeriHarness: 为长程任务扩展智能体验证能力

摘要

研究关注在固定基座模型下强化 LLM 智能体的验证能力，且测试时无法获取参考答案或评分标准。作者发现分歧往往暴露正确答案，而一致反而可能掩盖错误。据此提出的 VeriHarness 为生成器所用的底层 LLM 配备工作区、证据工具与可复用验证技能，使其转为智能体验证器：分歧消解器依据环境证据核对相互竞争的说法，一致性挑战者检验共享说法并寻找遗漏要求，其结论用于指导最终产物的选择与修订。在五个长程工作区基准、两个前沿模型上，VeriHarness 的选择得分在所评测基线中最高；结合证据支持的修订，相对单次采样的平均增益分别为 Gemini 3.5 Flash 提升 6.2 分、Claude Opus 4.8 提升 6.4 分。验证技能还能从失败反馈中自我改进。作者发布了五个基准、两个模型上约 26,000 条 rollout 的完整集合，制作成本超过 100,000 美元。