Vercel Labs 开源 agent-desktop，让 AI 智能体通过系统无障碍树操作桌面应用

核心事实

Vercel Labs 已开源 agent-desktop，一个面向 AI 智能体计算机使用（computer use）的命令行工具，支持 macOS、Windows 和 Linux。据 MarkTechPost 报道，该项目以 Rust CLI 与 C 库形式提供，1.0.2 版本于 2026 年 10 月 30 日发布，采用 Apache-2.0 许可。与基于截图的方案不同，agent-desktop 通过操作系统的无障碍树（accessibility tree）读取应用界面，向智能体返回带元素引用的 JSON 快照。它本身不内置大模型，也没有图形界面，每条命令输出一个 JSON 信封后退出，观察、操作与验证的循环仍由调用方的智能体负责。

背景与影响

该工具在 macOS 上对接 AX API，Windows 上使用 UI Automation，Linux 上使用 AT-SPI，并支持 x64 与 ARM64，仅需 CPU。默认以无头方式执行引用操作，不移动指针、不抢占焦点，因此智能体可在用户继续使用电脑时工作。它还提供 --skeleton 快照，只读取浅层节点并按需下钻，以降低上下文开销。开发者可通过 npm install -g agent-desktop 安装，macOS 需授予辅助功能权限，Linux 需具备图形会话与 at-spi2-core。

限制与来源

据报，构建者自述在 Slack、VS Code、Notion 等密集 Electron 应用上可减少 78% 至 96% 的 token 消耗，Apple Maps 单次观察从 3,811 token 降至 273，但这些均为自报数据，尚无独立的计算机使用基准测试。没有无障碍树的应用无法被覆盖。安装方式、平台支持与许可以官网及代码仓库当前信息为准。本文信息来源为 MarkTechPost 的报道。