无标签策略下准确度与顺序敏感性表现不一

摘要

选择题基准广泛用于评估大语言模型，但MCQ分数将知识与选项顺序敏感性混为一谈，使其难以可靠衡量模型知识。本研究测试在作答时不显示选项标签能否消除位置影响并提升性能，评估了两种策略：先生成后匹配，以及单独评分选项（后者天然无位置偏差）。结果均未可靠提升准确度。完整分解显示瓶颈在于隐藏选项，而非匹配步骤。唯一持续匹配基线的配置是展示全部选项并配以LLM匹配器。然而，完全消除位置影响仍不能可靠带来准确度提升，而循环置换常能提升。对于两阶段提示，聚合指标和逐题测量均未能显示可靠的去偏效果。