系统提示中隐藏的当前日期会改变LLM评测结果

摘要

研究指出，LLM的系统提示中会隐藏注入用户无法控制、且每天变化的当前日期，这一被忽视的因素影响评测可复现性。在9个近期LLM、涵盖多选题问答、数学推理、代码生成与机器翻译的6个数据集上，仅改变当前日期即可带来最大6%（多选题问答）、14%（数学推理）、7%（代码生成）的性能差异，机器翻译差异达2.84 BLEU。模型排名随之变动，进而影响排行榜；该日期效应超过批次数值精度等其他非确定性来源。思维链与少样本提示无法降低敏感性，思维链反而会放大它。作者据此强调需要更严谨的评测协议。