注入、对齐、恢复: 无检索文档知识内化的分阶段后训练

摘要

大型语言模型在无法于推理时检索文档的情况下，常难以回答关于固定文档集的问题。为此，研究者提出IAR（注入、对齐、恢复）三阶段后训练框架，用于将语料库转化为可用的参数化知识，以实现无检索问答。IAR将文档知识内化与一般能力恢复分离：注入阶段采用续写、改写及指令条件重建目标；对齐阶段使用仅答案的QA监督；恢复阶段将领域适应模型与基础指令模型合并，以恢复通用能力。在多个模型族（Llama、Phi、Qwen、SmolLM）及数据集上，IAR在领域-通用前沿上优于基线，在7/8设置中平均领域QA准确率提升3.6个百分点，通用性能（IFEval、MMLU、MSBench）平均提升12.1个百分点。