越流行越难忘: 面向大语言模型遗忘的适应性流行度方法

摘要

预训练中热门事实被记忆更深、更难被遗忘，但现有大语言模型（LLM）遗忘方法对不同训练数据频率施加统一梯度压力。我们提出AdaPop（适应性流行度）方法，结合局部token置信度与基于外部代理（如Wikidata页面链接、LLM-as-Judge）的每事实流行度指数，并通过双上升控制器自动调整每轮遗忘-保留平衡。在三个模型族和两个基准上，AdaPop在改写查询下泄漏的遗忘内容比竞争方法少约5倍，在对抗性改写下约1.6倍。内部指标显示，其遗忘集隐藏状态更远离原始模型，而保留集表示保持接近。