快讯
Google推出Android Bench 2.0,新增30项长周期开发任务
Google发布Android Bench 2.0,引入30项覆盖应用创建、依赖迁移等场景的长周期任务,并加入多模态UI验证、多Agent框架评测和连续完成率指标。
Google发布Android Bench 2.0,将Android开发智能体评测从局部代码修复扩展到长周期工程任务。新版任务集包含30项任务,覆盖从零创建应用、依赖与架构迁移、功能开发和跨平台项目转Android等场景。
新版同时引入多模态UI验证、多个Agent执行框架以及0到1的连续完成率指标,除是否完全通过外,还衡量功能、视觉一致性与回归情况。Google披露,长周期任务当前最高通过率约28%,明显低于旧任务集约91%的水平。