超越视觉CoT: 内化视觉思维用于主动视频推理

摘要

多模态大语言模型常用视觉思维链（Visual CoT），通过生成中间推理图像进行空间、时间和具身推理，但推理开销大。本文提出内化视觉思维（IVT），一种训练后框架，在无标签视频上联合优化文本预测和下一嵌入预测，使模型在推理时直接生成答案而无需合成未来帧。在全部六个评估设置中，IVT优于直接答案微调，且与显式Visual CoT相比性能相当或更好，平均端到端延迟降低超过5倍。结果表明，推理时显式像素空间生成可能并非主动视频推理所必需。