MindTopo 揭示了多模态模型的空间推理能力

摘要

MindTopo 是一个新基准，用于测试多模态大语言模型的拓扑推理能力，评估其对连通性、封闭性、顺序、分离和打结等概念的理解。该基准既测量静态图像中的识别能力，也测量通过一系列动作保持和操作这些关系的能力。研究发现，当前模型在静态识别上表现较好，但在交互任务中表现不佳，表明它们在时间上维持一致拓扑理解方面存在困难。失败通常发生在规划阶段而非感知阶段，模型在场景变化时会丢失结构关系或提出违反物理约束的动作。这些发现强调了推进 AI 系统在机器人技术和交互环境中发展的机会。