AB
AiBoss站
快讯

NVIDIA Vera Rubin NVL72 在 MLPerf Endpoints v1.0 智能体推理测试中领先

NVIDIA 公布 MLPerf Endpoints v1.0 暂定结果,称 Vera Rubin NVL72 在每用户每秒 50 token 的端到端交互性门槛下,每千瓦吞吐量超过 GB300 NVL72 十倍以上;该结果尚待 MLCommons 验证。

核心事实

NVIDIA 在开发者博客中公布 MLPerf Endpoints v1.0 的暂定测试结果:在每用户每秒 50 token 的共享最低端到端交互性门槛下,NVIDIA Vera Rubin NVL72 的每千瓦吞吐量超过 NVIDIA GB300 NVL72 十倍以上。测试覆盖 Kimi K3、DeepSeek-V4.1-Flash 与 Qwen3.6-35B-A3B 三个模型。按 NVIDIA 给出的对比表,三个模型的每千瓦吞吐量比值分别约为 10 倍、9 倍和 5 倍;在相同并发下,端到端交互性比值分别约为 3 倍、5 倍和 3 倍。

背景与影响

MLPerf Endpoints v1.0 通过 API 端点,以编程和企业工作流评估服务容量与响应速度之间的平衡,并对生成的工具调用与工作流意图做校验,另以 SWE-bench Verified 评估端到端任务解决能力。NVIDIA 称,智能体负载会跨多轮累积对话历史,并混合推理、工具调用与回复,因此推理系统需在同等功耗预算内支撑更多并发智能体。硬件层面,Rubin GPU 采用 HBM4 内存、Tensor Core 与第六代 NVLink;软件层面则使用前缀缓存、状态复用、NVIDIA Dynamo 路由与分离式服务,并针对不同模型采用专用内核,例如 DeepSeek 的 MegaMoE 内核与 Qwen 的多 token 预测配合 Tensor Core 验证。

限制与来源

需注意,NVIDIA 的 Vera Rubin 成绩为暂定结果,尚待 MLCommons Association 验证,并可能随同行评审而变化;GB300 的成绩则由 MLCommons Association 验证。上述比值均为 NVIDIA 自行对比并取整,测试配置、并发数与功耗工作点各不相同,具体数值以 MLPerf 官方发布页面为准。本文信息来自 NVIDIA 开发者博客,未包含定价、上市时间与地区可用性信息,相关产品与功能支持请以 NVIDIA 官网当前信息为准。