WM-VLM: 为交错式视觉-文本推理探测内部世界模型

摘要

WM-VLM 在预训练视觉-语言模型（VLM）之上加入一个轻量级世界模型分支，用于生成中间视觉状态。其两阶段训练先教会模型生成下一个视觉状态，再学会利用该状态进行推理。研究者以程序化方式构建了带有可验证中间视觉状态的空间推理任务，从而分别评估模型生成视觉状态的质量，以及它在回答问题时对这些状态的依赖程度。在二维和三维心理旋转任务上，WM-VLM 一致优于经过监督微调的骨干模型，增益最高达 39.25 个百分点。消融实验显示，移除或破坏生成的视觉状态会使性能大幅下降，说明这些增益确实依赖于生成的视觉状态。作者认为，内部世界模型为让 VLM 同时在语言空间和视觉空间中推理提供了一条有前景的路径。