AB
AiBoss站
快讯

Scale AI 的 AgentEnv 评测框架可在 Vercel Sandbox 上运行

Vercel 更新日志称,Scale AI 用于测试智能体任务表现并评分的框架 AgentEnv 现可在 Vercel Sandbox 上运行,Vercel 提供方随 AgentEnv 0.9.1334 及之后版本发布,智能体与任务环境分别运行在独立的 Sandbox 中。

核心事实

Vercel 于 10 月 26 日发布更新日志称,Scale AI 用于让智能体执行任务并对其结果评分的框架 AgentEnv,现可在 Vercel Sandbox 上运行。据该更新日志,Vercel 提供方随 AgentEnv 0.9.1334 及之后版本发布,运行时会把智能体与其任务环境放在彼此独立的 Sandbox 中。

Vercel 同时提供了一个 AgentEnv 示例,用于在 Vercel Sandbox 上执行评测,并查看任务得分与智能体记录的动作。按说明完成配置指南后,可在克隆的仓库中运行 ./vercel-eval --scope YOUR_TEAM --project YOUR_PROJECT,该命令沿用已有的 Vercel CLI 登录状态,其中两个占位参数分别替换为 Vercel 团队 slug 与已有项目名。

背景与影响

AgentEnv 的定位是面向智能体的评测框架,覆盖任务执行与结果打分两个环节。将评测环境放到 Sandbox 中运行,意味着智能体执行任务时产生的动作与任务环境本身被隔离在不同实例里,便于在评测后回溯得分与动作记录。对于已经在使用 Vercel 的团队,这一集成可复用现有的 CLI 登录与项目配置,减少单独搭建评测环境的步骤。

限制与来源

上述信息来自 Vercel 更新日志,属于厂商自述,未提供评测性能、耗时或成本方面的数据。版本号、命令参数、团队与项目配置方式,以及 AgentEnv 与 Vercel Sandbox 的可用范围,均可能调整,请以 Vercel 与 Scale AI 官网当前信息为准。本文未对实际评测效果做任何验证。