审计合成回忆录: 在LLM生成的、与所描述生活文档记录相对照的自传中测量场景级虚构

摘要

该研究首次对LLM生成的自传进行场景级审计，将一位366天的“每日一页”自传草稿与独立的验证语料比对。草稿由对话式LLM基于模板、两个示例日和每日引文生成，而非基于完整语料库。审计采用预先设定的四级标尺，结果显示96.7%的天数未达到“已证实”级别，仅12天包含可证实的场景，5.2%的天数与记录相矛盾。主要失败模式是“基础漂移”，即真实人物、雇主出现在虚构场景中。独立复评证实了高失败率，但四类分类的信度仅为一般。用当前模型重新生成同样复制了100%的失败率，而基于语料库的“基础性生成”可将失败率降至83.3%。该研究提供了测量方法、可复用的审计工具及有效的改进方案。