Galahad 内存层让 LLM 阅读成为一次性成本

摘要

Galahad 是面向 vLLM、SGLang 和 llama.cpp 的内存层:其中 Taliesin 保存文本块的键值(KV)状态,下次遇到相同字节时直接载入;Blaise 则保存文档本身,只把问题所需的段落交给模型。在七个真实数据集上,98.7% 的提示词是模型已经读过的文本。在含 97,000 token、隐藏 100 条事实的语料召回测试(Gemma 4 31B)中,仅用 Taliesin 在 llama.cpp 上答对 98/100,耗时 3.0 s、572 J;不带 Galahad 时只能容纳最后 12,000 token,答对 10/100,耗时 9.3 s、2,754 J。叠加 Blaise 后每题约读 668 token,三个运行时均答对 100/100,耗时 0.59-0.64 s、200-213 J;调优后的 RAGFlow 管线答对 77。存储语料是一次性成本,约 100 s、28 kJ,其能耗在 13 个问题后即可收回。恢复的状态逐比特一致:重启、再水化与热加载后 262,144 个输出 logits 全部吻合;在 vLLM 下所有 30 个受测模型均可运行,且校验不通过的载入一律回退为重新计算。