FORESIGHT: 流式VLM免训练的未来感知规划

摘要

现有流式视觉-语言模型在推理全程计算路径固定，无法随场景动态调整感知方式。FORESIGHT 提出免训练的双流架构，由两个共享权重、输入编码器与 KV cache 的孪生 LLM 组成：一个持续处理输入 token，另一个先于数据流运行，预判未来上下文、规划计算并生成任务响应，不打断流式推理。每份计划决定何时再推理、届时检查什么、采样密度多大，并将瞬时证据与持久控制分离，随后借助 schema 引导解码和轻量 diff 更新在线执行，开销很低。在冻结的 Qwen3-VL-8B 主干上，FORESIGHT 在 OmniPro Online 上平均 joint F1 为 23.0，比最强训练基线高 9.5%；在 StreamingBench 和 OVO-Bench 上分别较主干提升 6.7 与 15.4，证据在视频流中较晚出现时增益最大，为 18.7。源代码将公开。