语言模型“测谎仪”: Probe of Internal Recognition 读出模型不肯透露的知识

摘要

借鉴法医领域的 Concealed Information Test，研究者提出 Probe of Internal Recognition（PIR），从模型内部状态读出它认得哪个候选答案。该方法无需诚实参考模型，也不需带标注的真值语料。在五个家族的八个模型上，PIR 恢复已认答案的平衡准确率为 0.70 至 0.87，高于 0.28 至 0.40 的未知项目基线与 0.25 的随机水平；面对提示欺骗、训练出的 sandbagging、外部口令锁定与电路破坏检查点等隐藏方式，识别率为 0.85 至 0.93。知识被遗忘时，识别降到与模型从未知道的题目相当的水平。作者称该信号是因果的，可区分“不愿回答”与“不能回答”，支持 sandbagging 审计与遗忘验证。