《OSWorld-Science》: 面向科学软件使用能力的智能体基准

摘要

OSWorld-Science 是评测视觉语言模型（VLM）计算机使用能力的基准与评测环境，面向科学软件场景：完成科研流程需理解专业界面、操作科学对象并产出可验证结果。该基准包含 12 个 VLM 与 146 项高质量任务，覆盖多个科学领域和软件配置，涵盖分子绘制与逆合成、病理图像分析、统计计算、物理仿真等工作流。任务由专家提议并经人机协同迭代设计，依据科学价值与难度筛选；基于执行的评测器检查应用状态与生成产物（如分子结构、分割掩码、图表和数值结果），并对不完整结果给予部分分。配套 harness 集成模型适配、交互循环控制与轨迹记录。结果显示，当前最先进的 VLM 即便配合强 harness，在回答科学领域关键问题时仍面临挑战。