Mage-VL-Cowork - 微软 4B 混合计算机使用智能体，在 GUI 与终端之间自主切换

Mage-VL-Cowork 是微软 Mage 团队发布的一个 4B 参数多模态计算机使用智能体（computer-use agent）。它要解决的问题很具体：只靠像素操作的智能体，一张截图就要消耗数千 token，而把结构化的文件编辑拆成几十次鼠标点击，又丢掉了机器上最快、最容易验证的通道。项目自述的答案是让同一个视觉语言策略同时掌握截图驱动的 GUI 交互（computer_use）与持久化的代码/终端执行（bash），并在回合级别自行决定走哪条路，而不依赖外部的多智能体路由器。它适合关注桌面智能体、GUI 自动化、端侧多模态策略，以及想复现「先专精、再统一」训练流程的研究与工程读者。

维护者与状态

该模型由 microsoft 维护，托管在 Hugging Face 上，任务类型为 image-text-to-text，框架标注为 transformers。仓库创建于 2026-10-30，最后更新同为 2026-10-30。截至 2026-11-02，近 30 天下载量为 1152，点赞数为 130。事实表中没有给出正式 release 信息，因此这里不对版本节奏作任何推断。

主要能力

以下内容均来自项目自述（模型卡），未经本站独立验证。

• 单一检查点覆盖两类通道。据项目说明，同一个 checkpoint 同时处理视觉定位、多步 GUI 操作、程序化文件与系统操作，以及 GUI 与 CLI 之间的动态切换。
• 回合级通道路由。模型卡称，策略会在视觉布局、画布编辑、应用内存态等场景选择 computer_use，在电子表格、文档、演示文稿等结构化编辑与确定性校验场景切换到 bash。
• 结构化输出。项目自述每回合输出由三部分组成：推理正文、Action: 摘要，以及动作块；GUI 侧提供 11 个原语，坐标在 [0, 999] 区间归一化。
• 工作记忆设计。据模型卡，采用非对称滑动窗口，保留最近 3 张截图、4 条完整回复以及折叠后的 Action: 历史；上下文长度为 32768 token，架构上支持到 262144。
• 训练配方公开。项目自述从中间态 4B Mage-VL 检查点出发，经过五阶段「先专精、再统一」课程：GUI 导向中训、GUI Agent SFT、编码与终端 SFT、混合 CUA SFT、在线混合强化学习。
• 数据合成管线。模型卡介绍 Mage-CUA-Forge 以「工作流优先」方式按原子技能复用生成流程，自述合成 293806 个任务、覆盖 6915 个原子技能，并将单任务生成成本降低 82.6%。

项目自述给出的效果数字包括：在 50 步预算下 OSWorld-Verified 达到 66.0%，在线强化学习相较 Hybrid SFT 提升 10.16 个百分点，同时模型调用次数下降 13.0%、输出 token 下降 25.4%。这些均为维护者自述，本站未做复现。

使用入口

模型与说明文档位于 microsoft/Mage-VL-Cowork。事实表标注框架为 transformers，素材中给出的架构标识为 llava_onevision2，权重以 bfloat16 存储、分 2 个 safetensors 分片，合计约 9.48 GB。素材未提供具体的安装命令或推理示例代码，实际调用方式请以仓库页面上的说明为准。

许可与限制

许可证为 apache-2.0。使用前需要注意的边界条件，按项目自述整理如下：

• 模型规模为 4B，定位是端侧与资源受限场景下的紧凑策略，并非通用大模型替代品。
• 上下文窗口在训练与推理中实际使用 32768 token，架构上限更高但不等于默认可用。
• 工作记忆只保留最近 3 张截图，长流程任务中较早的视觉信息会被折叠，这是设计取舍而非缺陷修复项。
• 训练依赖大规模沙箱环境与合成任务管线，模型卡描述的计算规模（32 张 NVIDIA B200、1120 个 CPU 沙箱槽位）意味着完整复现训练配方对普通团队并不现实；仓库提供的是权重与配方说明。
• 素材中的性能数字均来自维护者自述的评测设置，迁移到其他环境时结果可能不同。

总体而言，Mage-VL-Cowork 的价值不只在一个 4B 检查点，更在于它把教师脚手架演化、任务合成与分阶段课程串成了一条可读的完整链路，适合作为混合计算机使用智能体的参考实现来研究。