Import AI 476: Humanity’s Sixth Sense 基准显示AI视觉推理远低于人类

摘要

AI 创业公司 Elorian 和 Scale AI 发布基准 Humanity’s Sixth Sense（HSS），用于衡量模型如何解读和推理视觉场景隐含、但未明确显示的信息。HSS 包含 522 个问题，覆盖 288 张图片和 234 段短视频（共 17.6 小时视频），分为时间与因果动态、物理与空间逻辑、社会理解、抽象与语境推断四类。人类基线并非完美但很高，总体 pass@1 为 93.1，图片 94.1、视频 91.9、时间 97、空间 94.9；表现最好的 AI 系统 GPT 6 Astra 总体 53.6，分别为 55.6、51.1、58.2、53.6。中国开放权重模型表现不佳：GLM-5.3-flash 为 26.8，Kimi K3 为 25.5。最常见的两类单一错误是遗漏决定答案的细节（21% 的失败）和误认物体、人物或角色（20%）。