推理模型具备系统性思维吗?规则归纳任务的同构变体测试

摘要

论文把认知科学中成熟的规则归纳任务引入对当前推理模型的评估，用来检验其思维是否具有系统性——即理解一个概念是否必然带来对相近变体的理解。研究利用任务的组合结构，通过重组、替换等任务同构方式生成结构等价的变体。结果显示，模型即使能正确解出原任务，也常常在结构等价的变体上出错，说明许多模型行为缺乏系统性，难以在既有评测语境之外稳健地确立推理模型的认知能力。