project
Mobile-Agent-v3.5 - 阿里通义开源的多平台GUI Agent框架
Mobile-Agent-v3.5 是阿里巴巴通义实验室开源的新一代多平台GUI Agent框架,标志着开源GUI智能体从'演示级'迈向'工程可用级'。框架原生支持桌面、手机、浏览...
Mobile-Agent-v3.5是什么
Mobile-Agent-v3.5 是阿里巴巴通义实验室开源的新一代多平台GUI Agent框架,标志着开源GUI智能体从”演示级”迈向”工程可用级”。框架原生支持桌面、手机、浏览器三大平台,可跨Android、Ubuntu、macOS、Windows实现自动化操作。配套的GUI-Owl-1.5模型家族提供2B至235B多参数规模,并解耦出Instruct(轻量低延迟)和Thinking(强规划反思)两种变体,支持端侧到云端全链路部署。Mobile-Agent-v3.5在OSWorld-Verified、AndroidWorld、VisualWebArena等20多项主流GUI Benchmark上取得开源领域SOTA成绩,通过混合数据飞轮、统一思维链合成和MRPO多平台强化学习算法三大核心技术,解决了跨平台动作空间差异与长程任务训练不稳定等难题,为社区提供了从底层基座模型到Agent框架的完整开源技术参考。
Mobile-Agent-v3.5的主要功能
-
跨平台GUI自动化:原生支持桌面、手机、浏览器三大平台,实现Android、Ubuntu、macOS、Windows多端统一控制与自动化操作。
-
多参数模型覆盖:配套GUI-Owl-1.5模型家族,提供2B/4B/8B/32B/235B多种参数规模,支持从端侧到云端的全链路部署方案。
-
双模式推理架构:解耦出Instruct(轻量低延迟)和Thinking(强规划反思)两种变体,兼顾实时响应与复杂任务深度推理需求。
-
长程任务规划:通过统一思维链合成技术,系统化注入工具/MCP调用、记忆管理、知识查询、多Agent协作等能力,支持复杂长程任务执行。
-
高性能基准表现:在OSWorld-Verified(56.5)、AndroidWorld(71.6)、VisualWebArena(46.6)等20多项主流GUI Benchmark上取得开源领域SOTA成绩。
-
多模态感知理解:具备视觉感知与语义理解能力,可识别界面元素、理解操作意图,实现精准的点击、输入、滑动等GUI交互。
-
强化学习优化:采用MRPO多平台强化学习算法,解决跨平台动作空间差异导致的梯度冲突,提升长程任务训练稳定性。
Mobile-Agent-v3.5的技术原理
-
混合数据飞轮(Hybird Data Flywheel):结合仿真环境与云端沙箱,规模化生成高质量grounding数据与长程轨迹,解决真实环境数据采集成本高、规模受限的难题。
-
统一思维链合成:系统化注入工具/MCP调用、记忆管理、知识查询、多Agent协作等高级能力,让模型具备长程规划、反思与自我纠错能力。
-
MRPO多平台强化学习算法:针对跨平台动作空间差异导致的梯度冲突问题,以及长程任务训练不稳定、信用分配困难等挑战,实现多平台统一训练与优化。
-
GUI-Owl-1.5基座模型:作为原生多模态理解模型,提供从2B到235B的完整参数谱系,支持视觉感知与语义推理的端到端GUI交互。
-
双变体架构设计:Instruct变体针对低延迟场景优化,Thinking变体强化规划与反思能力,两者解耦设计满足不同应用场景需求。
-
端到端训练框架:从数据生成、模型训练到强化学习优化形成闭环,支持跨平台、跨任务的统一学习与迁移。
-
开源生态兼容:基于Qwen3系列架构优化,兼容主流AI开发生态,支持ModelScope和HuggingFace模型仓库一键部署。
Mobile-Agent-v3.5的项目地址
- Github仓库:https://github.com/X-PLUG/MobileAgent
Mobile-Agent-v3.5的应用场景
-
智能设备自动化:自动操作手机完成App使用、信息查询、设置调整等任务,如自动订外卖、查天气、管理日程。
-
跨平台办公辅助:在Windows、macOS、Ubuntu桌面端自动执行文档处理、邮件发送、会议安排、数据录入等重复性办公任务。
-
网页自动化测试:支持浏览器端自动化操作,适用于Web应用测试、表单填写、数据采集、电商比价等场景。
-
端侧AI助手部署:借助2B/4B轻量模型,在手机、IoT设备等端侧实现低延迟的本地GUI自动化助手。
-
企业流程自动化:结合RPA需求,自动化处理ERP、CRM等企业系统的界面操作,提升业务流程效率。
-
无障碍辅助工具:帮助视障或操作受限用户自动完成复杂的界面交互,降低数字设备使用门槛。