大语言模型在医学推理中表现出元认知敏感性

摘要

研究者用受心理物理学启发的临床基准，考察医学大语言模型在阿尔茨海默型神经认知障碍（AT-NCD）与抑郁相关认知障碍（DRCI）鉴别中的选择与置信度。45个合成病例以三种提示变体呈现，共135次试验；gpt-4.1-nano诊断准确率93.5%，平均置信度78.4%，AUROC2为0.876。置信度随证据远离诊断边界上升、信息缺失下降，校正后正确试验高于错误试验，提示部分元认知敏感性；错误集中于中度、冲突的AT-NCD病例，模型过度自信。作者建议直接测量置信度质量，而非由基准准确率推断。