AFDBench: 面向National Weather Service预报讨论的推理优先AI科学家

摘要

大型语言模型在生成高风险气象文本时会编造数值，带来天气信息传播风险。研究者提出AFDBench：一个用Google WeatherNext 2的AI预报数据推理、生成专业Area Forecast Discussions（AFD）的AI气象学家，也是首个生成式气象推理基准，含13个NWS办公室的7,732篇专家讨论，以及Met-Align（数值准确性）、Style-Align（专业语域遵循）、Input-Grounding（输入数据忠实度）三项指标。零样本评估中，开源LLM的Style-Align约0.33，Input-Grounding约0.88。经带领域奖励的GRPO训练后，在两个未见NWS办公室的1,033个样本上，Style-Align从0.318升至0.619，Input-Grounding从0.881升至0.940，显示7B模型可学会专业气象写作并忠实解读AI天气数据。