AB
AiBoss
News

Epoch AI 发布 InnovationEval:前沿模型在限定研发任务中仍落后于人类成果

Epoch AI 新评测让 AI 在受限算力和数据条件下尝试复现论文级机器学习方法;初步结果显示,受测模型未达到人类论文的提升幅度。

Epoch AI 发布 InnovationEval 初步研究。评测让 AI 独立设计后训练算法,在固定数据和基线下尝试达到一篇自蒸馏研究的效果;受测前沿模型获得较大 GPU 预算后,仍未追平该论文结果。

研究者强调,这只是针对一个特定任务、少量模型运行的早期证据,不能据此断言 AI 无法进行任何研究创新。评测将继续扩展与重复。

参考:Epoch AI 研究报告