在挑战性真实世界场景中评估通用移动助手

摘要

图形用户界面已成为评估自主智能体在多模态交互任务中表现的重要环境。现有基准（如 AndroidWorld 和 MobileWorld）提供了坚实基础，但其应用覆盖与任务设计仍不足以反映真实移动使用的多样性和复杂性。我们提出 GMA，一个用于在挑战性真实场景中评估通用移动助手的基准：基于开源项目引入七款应用，涵盖生活分享、旅行规划等领域，包含四个难度层级共 300 个任务。对八种前沿模型的评估显示，任务越复杂，性能下降越明显，当前智能体仍远不能可靠处理真实用户需求。受控消融实验表明，合理的 agent harness 设计（如上下文保留和显式状态跟踪）能显著提升复杂工作流上的表现，但具体设计的效果会因基础模型而异。