Where-OPD: 空间引导的MLLM在线自蒸馏与合成场景后训练

摘要

Where-OPD为多模态大语言模型（MLLM）提出一种新的在线自蒸馏方式：教师模型获得关于与问题相关视觉要素的文本化空间引导，据此在多个图像区域定位并整合证据；学生则仅凭图像和问题复现这一行为。训练采用程序化生成的场景，自带物体身份与空间坐标，实现可扩展、免标注的后训练。该方法在多个模型上 consistently 提升计数、文档与图表理解基准的表现；尽管后训练只使用合成场景，提升仍迁移到真实感知基准，在CVBench、V*、ZoomBench、BLINK、HR-Bench和MME-RealWorld上平均提升3.23点，显示出超越后训练任务与数据分布的合成到真实迁移能力。