OmniClimate-TC: 面向热带气旋多媒体推理的物理感知视觉抽象

摘要

气象再分析以连续且受物理约束的场编码极端天气，这与视觉语言模型主要基于自然图像形成的感知假设并不匹配。研究提出可插拔的物理感知视觉抽象（PAVA），将再分析物理场映射为可视觉识别、具语义基础的感知抽象，用于监督和评估视觉语言推理。基于PAVA，团队构建OmniClimate-TC基准，覆盖5类推理、9项任务，并含243,890个具物理基础的指令微调样本对。经PAVA对齐监督适配后，视觉语言模型在热带气旋灾害场推理上有所改进。