MemTrapBench: 评测大语言模型记忆使用中的认知陷阱

摘要

MemTrapBench是一个新基准，用于评测大语言模型（LLM）记忆使用中的认知陷阱。现有记忆基准主要评估信息提取、存储和检索的正确性，却忽略了记忆如何重塑模型推理并影响当前任务。MemTrapBench涵盖两类陷阱：推理固化和信念扭曲。实验涵盖两个模型家族和五种代表性记忆框架，结果显示所有记忆策略均不如无记忆设置，最强方法性能下降超过10%。为此，作者提出AdaptiveMem，一种推理期方法，能减轻认知陷阱，同时保持或提升标准记忆基准上的性能。