News
FrontierCode 1.1 编程评测公布:领先模型仍有超四成尝试未通过
Artificial Analysis 发布 FrontierCode 1.1 初始榜单;在其评测设定下,榜首模型通过率为 58%,领先模型仍有超过四成尝试未满足全部阻断条件。
Artificial Analysis 发布 FrontierCode 1.1 初始评测结果。该基准由 Cognition 与开源项目维护者构建,要求编码智能体对真实仓库作出可合并的修改;Artificial Analysis 使用统一运行环境评测其中 100 道主要任务,每题尝试三次。
在 10 月 12 日发布的初始结果中,Claude Opus 5.5(max with fallback)平均得分为 52%,通过全部阻断条件的尝试占 58%。这些数字仅对应指定任务、评分规则和当时参评版本,并非所有编程场景的总体成功率。详见评测说明。