李飞飞参与团队发布 ESI-Bench: 前沿AI在3D空间中暴露“动作盲视”

摘要

斯坦福大学主导、李飞飞参与的研究团队发布基准 ESI-Bench，记录所有受测前沿多模态AI模型的一项具体可测失败：当模型必须在3D环境中主动移动，而非解读预先构好的图像时，最先进系统会持续选错动作、跳过能纠正错误的视角，并以高置信度坚持错误答案；论文称之为“动作盲视”。该基准含10个任务类别、29个子类别、约3000项任务，构建在 OmniGibson 模拟器和斯坦福 BEHAVIOR-1K 数据集上，并围绕哈佛发展心理学家 Elizabeth Spelke 提出的核心知识系统组织。它取消以往基准的“神谕观测”假设，要求智能体先决定调用感知、移动还是操作及其顺序，以主动揭示遮挡结构、动力学、容纳关系与功能等静态图像无法呈现的信息；每项任务的正确答案若不先选择动作便结构上不可得。