医疗基准的有效性取决于其隐含假设

摘要

近期研究显示，医疗保健环境中LLM在评估与部署时的性能存在61个百分点的差距。作者认为这一差距并非源于基准设计不佳，而是评估协议中的隐含假设在部署时不成立。他们提出一个分类法，将假设分为任务型和结果型两类，以诊断差距的来源并指导如何弥合。弥合差距需要明确假设、检验假设是否成立并相应更新评估协议。