将感知与推理从视觉-语言模型中分离: 晶体结构的无模型渲染上限

摘要

现有多模态评测无法区分视觉-语言模型是看错还是推理错，因为既有分离方法都要在回路中引入第二个模型。我们提出渲染上限：对渲染已知对象的基准，反转冻结相机并重解跨视角对应，可精确恢复图像支持的答案；证明它仅在可枚举的投影巧合下失效，并在2160个渲染晶体结构上确认该集合为空。14个视觉-语言模型中，以文本提供精确几何提升所有模型，但13个的差距被弥补不足一半；无语言组件的监督视觉模型在同一图像上达0.8952，超过所有视觉-语言模型。该工具暴露了会被下游准确率误归因于推理的提取阶段伪造，提供相机放置规则，并可迁移到任何可逆前向渲染基准。