DeskForge: 为计算机使用智能体构建可控桌面环境与稠密监督

摘要

DeskForge 是一个可控桌面环境，组合并操作真实应用，变化状态、窗口布局与分辨率，并将截图、无障碍树和窗口几何融合成稠密元素标注，同时记录每次动作的执行结果。由此构建的 DeskForge-1M 含 120 万条标注桌面观测、1.597 亿个元素实例。作者用其中 20 万条定位样本微调四个视觉-语言模型，四者在留出桌面条件与全部五个外部 GUI 定位基准上均提升；Qwen3.5-4B 在 ScreenSpot-Pro 上提高 11.51 个百分点、OSWorld-G 提高 10.11 个百分点，长程任务中 WebArena-Infinity 由 119 题中的 31 题增至 50 题，OpenApps 由 100 题中的 3 题增至 15 题。