可解码性判据预测大语言模型中隐藏状态选择何时胜过多数投票

摘要

论文提出CASE，在答案token的隐藏状态上训练线性门控并选择得分最高的候选。其核心贡献是“可解码性”（decodability），一种无泄漏度量，预测隐藏状态选择是否优于多数投票。传统探针看似准确，实因问题身份泄漏；按问题分组评估后优势消失。留出数据上，可解码性以Pearson r=0.75预测增益，阈值接近AUC=0.60。在通用和医学LLM上，CASE在中等问题上比投票最多提高19个百分点，难题上提高16.8个百分点。可解码性取决于需回忆的对齐知识而非模型规模，向未见科学领域的迁移误差在3.8个百分点以内。