人类第六感: 多模态模型直觉视觉推理基准HSS

摘要

研究提出“人类第六感”（HSS）基准，评测多模态大模型的直觉视觉推理。HSS涵盖图像与视频，按结构化分类组织，配有人类撰写提示，考察人一眼可推断的隐含时间、空间、社会与抽象结构。前沿模型落后于人类：参与者准确率93.1%，最强模型GPT-6-astra在最高推理努力下仅53.6%。作者还探索了在HSS上施加动态视觉操作的智能体设置，虽缩小差距但未弥合。现有视觉基准多面向专家级分析或低层感知，直觉推理基本未被检验；HSS将其确立为可测量维度。