E2A-Bench: 金融图表推理中证据到行动的可靠性评测

摘要

现有幻觉评测多围绕“陈述是否有据”展开，却难以追踪证据在推理、置信度到最终行动全链条中是否可追溯。E2A-Bench 是面向金融图表推理的 969 条查询基准，基于 323 只 HS300 成分股构建，涵盖三种输入模态，并以确定性的 OHLCV 证据锚点支撑。该基准通过 UCR、RCI、ECI 和 NDR 评测语义接地、推理—行动一致性、证据—置信度校准与方向性覆盖，其中 NDR 衡量的是覆盖感知的证据到行动可靠性，而非实际交易表现。对 20 个 VLM 的评测揭示了标量幻觉分数掩盖的三类问题：UCR 最低的模型因方向性覆盖仅 6.4% 而在 NDR 上接近垫底；借助 oracle 的核验虽减少无据陈述，却可能使覆盖崩溃；金融微调使严格配对的基座—微调模型 BUY:SELL 比值放大 4.21 至 4.68 倍。作者因此主张评测应追踪完整的证据到行动链条，而非依赖单一幻觉分数。