跨模型记忆迁移: 通过目标端阅读器适配

摘要

大型语言模型的知识使用方法通常分为非参数检索和参数化适配两种。Engram式哈希记忆是中间方案：将学习到的信息存储于外部可寻址表格，并通过小型阅读器读取。本研究通过跨模型冻结记忆提取，探讨记忆内容与阅读器哪个更重要。消融实验表明，记忆内容和正确寻址都重要，但只有通过适配目标模型的阅读器，迁移的表才能变得有用。在下游问答任务中，双层四分支阅读器几乎消除同模型与跨模型重用差距，平均得分为38.8。当阅读器直接兼容时，无需目标端训练即可获得效用，进一步适配可提升性能。