版本更新下没有通用信号能预测样本级LLM回退

摘要

前沿LLM更新后通常在整体上优于旧版，但整体提升不能说明单个样本：更新仍可造成样本级回退，即旧模型正确而新模型错误。本文用统一的增量价值检验，将各信号相对于置信度基线的增益分离出来，比较推理时可得的单模型信号（置信度、logit间隔、注意力熵）与跨版本信号（输出KL散度、似然漂移、token级KL、表示漂移）。在六个基准、三个任务族（多项选择问答、数学推理、代码生成）和六组模型更新对上，信号有效性依赖任务；没有信号普遍最优；部分跨版本信号在置信度失效时仍有信息量，包括无标签情形，并支持将高风险样本退回旧模型的概念验证。代码见项目仓库。