AB
AiBoss
News

AWS 推出 SageMaker JumpStart 模型排行榜,横向对比质量、速度与成本

AWS 发布 Amazon SageMaker JumpStart 模型排行榜,在 SageMaker Studio 内以统一评测方法对比 70 多个开放权重模型的质量、速度与成本,首批覆盖 Meta、Google、Qwen、IBM、Arcee 等提供方。

核心事实

AWS 宣布推出 Amazon SageMaker JumpStart 模型排行榜(Model Leaderboard),作为 SageMaker Studio 中 JumpStart 基础模型页面的一个新视图,与 Categories、All models 并列。该视图沿用原有搜索栏与筛选器,默认展示大语言模型(LLM)的排名,无需先回答配置问题即可看到结果。据 AWS 介绍,上线时覆盖 Meta、Google、Qwen、IBM、Arcee 等提供方的 70 多个模型,后续会持续增加。

排行榜对每个模型展示两类信息:一是 AWS 自行运行的三项公开基准(BIG-Bench Hard、GPQA Diamond、MMLU-Pro)质量得分,三项分别展示而非合并为单一分数;二是 AWS 通过向各 JumpStart 部署配置的端点发送标准化测试负载测得的性能与成本指标,包括首 token 延迟(TTFT)、单请求吞吐(tokens/s)和实例成本(美元/小时)。

背景与影响

AWS 表示,公开的基准分数常由不同团队在不同提示词、设置和硬件条件下产生,难以直接比较;排行榜对所有模型使用同一评测框架与设置,性能与成本也来自同一套可实际启动的部署配置,因此可做同类对比。用户可通过「用例配置」菜单选择贴近自身负载的场景(默认 Max Context),并通过「优化目标」菜单在 Balanced、成本优先、延迟优先、吞吐优先之间切换,不同目标对应不同部署配置,部分配置可能使用推测解码。

限制与来源

AWS 说明,排行榜中的估算成本仅反映 SageMaker 实例成本,基于该配置默认实例类型的按需小时费率,不含数据传输、存储、推理组件费用,也不含 Reserved Instances 或 Savings Plans 等折扣,实际账单会有差异,建议使用 AWS Pricing Calculator 估算。使用排行榜需具备 SageMaker Studio 访问权限及部署 JumpStart 模型的权限。具体模型清单、指标数值与可用范围以 AWS 官网当前信息为准。本文内容来自 AWS 官方博客文章。