检索式开放式医学事实核查的失败模式: 基于MedExpert的自动分类体系分析

摘要

基于检索的事实性评估将LLM生成的主张与权威医学语料证据核验，已成为临床场景中幻觉检测的主流范式。但多数系统只用F1等聚合指标，掩盖失败发生的位置与原因；现有RAG诊断又依赖该场景没有的金标准答案或标注证据。作者基于开放式MedExpert数据集和3个封闭式数据集的案例研究，提出两个分类体系，将失败分解为检索阶段五个质量维度错误和验证器推理阶段六个连续步骤错误，并用LLM-as-Judge自动归纳流程在4种检索方法和6个前沿验证器模型上压力测试。结果显示，扩大模型规模、增加推理投入、扩展权威网络来源和医学微调均不能解决这些失败模式，表明它们是开放式医学场景中检索后验证范式的基本限制，而非过时系统的产物。