多模态智能体框架基础与前沿综述: 技术与应用

摘要

本文综述了多模态智能体框架，分析多模态性如何影响智能体的感知、推理、规划、记忆和行动等核心模块。文章从文本中心智能体演进到多模态框架，探讨了委派式、晚期融合和早期融合等架构，并提出了以模态为中心的分类法。应用领域涵盖机器人、GUI与网页导航、多媒体内容生成与编辑、长视频理解与检索。此外，分析了性能、效率与可扩展性的权衡，包括训练与推理成本、延迟和部署限制。最后指出关键差距，为构建鲁棒的通用智能系统绘制路线图。