AB
AiBoss
ニュース

UniPat AI发布SPU湿实验预测基准:前沿模型平均分最高0.486

UniPat AI牵头发布Science Prediction Universe基准,含116个任务、4207个湿实验,覆盖化学、材料、生物与医学。首轮评测12款前沿模型13种配置,最高平均分0.486,多数任务未明显超过随机水平。

核心事实

据量子位报道,UniPat AI牵头推出湿实验预测基准 Science Prediction Universe(简称SPU),共设116个任务、4207个湿实验,覆盖化学、材料科学、生物和医学,涉及32个子领域。其中100个公开任务取自85篇近期论文,16个私有任务来自四组未发表的合作湿实验。评测要求模型在每次运行8小时、配8核CPU、16 GiB内存和一块H20的条件下自主检索与计算,最终提交各比较组从低到高的预测排序,再以Spearman相关系数对照实测结果评分。

背景与影响

首轮系统评测覆盖12款前沿模型、13种配置。在全部已评分任务上,平均分最高的是Claude Opus 5.5,为0.486分,且仅约一半任务超过随机水平;13个配置超过随机水平阈值的任务比例在34%至52%之间。研究团队称,将GPT-6 Astra从中等推理强度调到最高后,运行时间中位数增至4.8倍、API成本中位数增至5.3倍,但预测得分几乎不变。各配置每次运行的平均API成本从0.22美元到65.91美元不等。SPU的公开任务计划以Harbor任务包形式发布,私有任务保持私有,数据集和代码已开源。

限制与来源

上述得分、成本与耗时数据均来自该基准的首轮评测,尚未获独立复现;模型版本与配置细节、任务可用范围及后续发布安排,以项目官网和论文当前信息为准。报道提到Fable 5.1、Opus 5.5存在拒答现象。本文不构成任何投资或采购建议。来源:量子位,项目主页 spu.unipat.ai,论文 arXiv:2611.15049。