训练留痕: 基于中心化残差特征的语言模型谱系验证

摘要

针对开源权重语言模型微调、量化、剪枝和合并后的谱系不明问题，提出一种无需数据的白盒验证方法。通过去除分支产品中共有的身份对齐成分，提取残差块间的检查点特有结构，得到对称的谱系评分。在残差MLP和GPT-2基准上，该评分以AUROC=1.0完美区分微调、LoRA合并、剪枝、量化后代与独立或蒸馏模型，并区分权重谱系与行为相似性。在保功能的检查点清洗实验中，现有基线失效或余量缩小，而该方法评分不变，且比最鲁棒基线快76倍。该信号在六个语言模型家族中普遍存在，案例研究正确识别了3个相关和7个无关的LLaMA-2公共检查点。