ニュース
真实场景测试：AI 编程智能体近四分之三任务仍需人工收尾
一项基于真实用户改动请求的新基准显示，十款被测模型中表现最好的也仅完全完成约四分之一任务，多数情况仍需人工收尾。研究者同时指出，运行环境对结果影响不亚于模型本身。
真实场景测试：AI 编程智能体近四分之三任务仍需人工收尾
据科技媒体 the-decoder.com 报道，来自阿里巴巴及多所亚洲高校的研究者构建了一个名为 Co-Design Bench 的编程智能体基准，题目取自真实用户的改动请求，部分任务还要求智能体读取图片、音频、视频或文档。据该论文，在十款被测模型中表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求，但完全正确的任务仅占 26.4%。
研究者称，现有基准已趋于饱和：当模型能自行运行、检查并修复代码时，旧测试得分普遍超过 99%，模型间差异难以分辨。Co-Design Bench 特意选取用户需多次改写请求或回滚改动的案例，因此题目多为实践中已让智能体受挫的任务。评分同样严格，由 AI 评审在浏览器中实测成品，另一评审复核每个通过判定并排查硬编码或假界面。排名上，Claude Opus 5 与 Qwen3.8-Max 紧随其后，Grok 4.6 垫底；当任务同时涉及布局、设计、交互、内容等多类改动时，所有模型表现均下滑。另一项测试显示，同一模型在不同运行框架下得分差异明显，研究者建议排行榜应同时报告模型与工作环境。
该基准存在限制：每个任务只评估一次固定请求，不包含用户追问或中途纠正；AI 评审也可能出错。研究机构 METR 此前的调查亦显示，基准成绩与实际可用性可能相差约 24 个百分点。上述结论来自论文，尚未获独立复现确认，模型名称与得分以论文原文为准。