LoHi: 长视频理解中的帧、像素与前端延迟联合分配

摘要

长视频理解通常在固定原生分辨率下筛选信息帧或视觉token。该研究指出，逐帧分辨率可换取更稠密的时间覆盖，而前端解码延迟取决于候选池规模而非最终token预算。在多个VLM与长视频基准上的实证研究得出三项发现：相同token预算下，稠密低分辨率采样优于稀疏原生分辨率采样；分辨率敏感任务受益于所选高分辨率帧；小时级视频的墙钟时间以前端解码为主。据此，作者提出免训练、单次前向的框架LoHi，通过VLM原生的视频与图像通路，将稠密低分辨率视频流与稀疏高分辨率图像帧结合。其中LoHi-Anchor利用编解码器I帧元数据选帧，LoHi-SemDiv依据查询相关性与CLIP特征的视觉多样性选帧。在三个长视频基准上，相同token预算下LoHi较原生分辨率基线平均准确率提高10.6个百分点，较最强先前效率方法提高5.2个百分点，小时级视频的前端解码延迟最多降低7倍。