面向原子事实召回的聚焦视图框架FOVEATED改进非结构化知识编辑

摘要

非结构化知识编辑（UKE）存在“上下文依赖”缺陷：编辑后的模型往往能复述编辑段落，却难以脱离原文单独召回其中的各项事实。作者指出，段落级编辑目标会低估上下文带来的难度——越靠后的事实获得的真值上下文越丰富，初始损失越低，因而显得更好学。为此提出即插即用框架FOVEATED：编辑时随机平移前序上下文键所分配的RoPE位置，为每个句子构造聚焦视图；扰动在编辑后移除，推理时模型原生位置编码保持不变。该框架同时适配直接优化与先定位后编辑两类编辑器，并给出其抵消难度低估的理论分析，在五个KE编辑器、两个LLM骨干和三个基准上取得一致改进。