News
METR警告:AI能力提升快于专家可靠评估其安全性的速度
AI研究组织METR警告,现有公开数据不足以排除未来几年AI研究出现急剧加速的可能,这可能让人难以理解、评估并应对新AI系统带来的灾难性风险。该机构同时指出,常见且易运行的测试可能高估模型在真实场景中的表现。
METR:AI能力提升快于安全评估能力
据科技媒体 The Decoder 报道,AI 研究组织 METR 警告称,AI 模型在 AI 研究类任务上的能力正在快速提升,而衡量这种提升正变得越来越困难。METR 表示,现有公开数据不足以排除未来几年 AI 研究出现急剧加速的可能性,这可能使人类无法“有意义地理解、评估并应对新 AI 系统带来的灾难性风险”。
能力进展与评估盲区
METR 发现,在反馈直接的、定义明确的编程与计算任务上,模型多数情况下已能胜过有经验的人类专业人士,但尚未超越由顶尖专家组成的大型团队。对于人类耗时更长的任务,模型可处理的任务时长每 3.6 个月翻一倍。按 METR 数据的简单外推,到 2027 年 7 月,模型在最长 200 小时任务上的成功率将达到 50%。METR 同时指出,模型在缺乏即时反馈、需要真实判断的开放式问题上仍表现吃力,在难以复现用于训练的情境中也是如此。该机构还警告,常见且易于运行的测试可能高估模型在真实使用中的表现,因为开发者是在高度相似的测试环境中训练模型的。
限制与来源
上述结论来自 METR 的分析,其中关于 2027 年的数字属于基于现有数据的简单外推,并非已实现的实测结果,也不构成对未来的确定预测。相关能力数据与图表细节以 METR 原始发布为准。本文信息源自 The Decoder 的报道,具体表述与后续更新请以 METR 官方信息为准。