MOSS-VL技术报告

摘要

MOSS-VL是一个开源视觉语言模型系列，将实时交互（边感知边说话）作为首要能力。该模型通过门控交叉注意力使语言解码器在生成时能感知输入帧，并利用合成交互语料监督说话、沉默和修正的时机。分阶段课程将实时特定训练集中在最后阶段。离线时，MOSS-VL-Instruct在相当规模下具有竞争力并领先时序推理视频集。在四个流式基准中，MOSS-VL-Realtime在三个上取得最佳平均分（另一个上排名第二），并在三个测试主动行为的子集上全面领先，如OmniMMI主动提醒达到66.0对比最佳基线37.5。MOSS-VL有11.3B参数，视觉token在解码序列之外，随着视觉上下文的增长，其首token时间优势从2.8倍扩大到5.1倍。所有五个检查点、训练课程和实时推理代码均已发布。