9 年前 Tesla V100 再战:4 卡集群推理跑赢 2 台 DGX Spark
YouTube 频道 Jun Yamog 测试 4 张 Tesla V100 组成的 NVLink 集群,在 Qwen3.8-Flash-Next 基准中长提示处理较 2 台 DGX Spark 快 40%,短提示 Token 生成达 100.6 tok/s。
核心事实
据 IT之家 10 月 13 日报道,YouTube 频道 Jun Yamog 于 10 月 12 日发布视频,将 4 张英伟达 Tesla V100 安装于 NVLink 载板组成集群,在 Qwen3.8-Flash-Next 基准测试中进行 AI 推理对比。结果显示,该集群在长提示处理速度上较 2 台 DGX Spark 快 40%,较配备 M5 Ultra 芯片的 Mac Studio 快 230%。
在短提示处理测试中,V100 集群较 DGX Spark 保持 40% 的速度优势,较 M5 Ultra 快 163%。短提示 Token 生成测试中,4 颗 V100 达到 100.6 tok/s,较 2 台 DGX Spark 快 121%;M5 Ultra 的成绩为 44.5 tok/s。
背景与影响
Tesla V100 是英伟达于 2017 年推出的数据中心 GPU,基于 Volta 架构,32GB 版本配备 HBM2 显存,显存带宽 900GB/s。NVLink 是英伟达的 GPU 高速互联技术,用于在多颗 GPU 之间直接传输数据,相比 PCIe 通信可降低互联瓶颈。
测试所用 NVLink 载板提供 300GB/s 带宽,配备 6 条 NVLink 2.0 连接。为容纳 4 颗独立 GPU,测试者改装了 NVIDIA A100 散热器,以散发每颗 V100 约 300W 的功耗,并通过 PCIe x8 接口连接载板。测试使用 4-bit 量化的 Qwen3.8-Flash-Next 模型,对比对象为 2 台配备 128GB LPDDR5X 统一内存的 DGX Spark,以及配备 M5 Ultra 芯片的 Mac Studio。
测试者指出,与 Apple Silicon 的巨大差距可能部分源于软件优化不足。该结果显示,旧款数据中心 GPU 在特定推理负载中仍具备较高吞吐能力。
限制与来源
上述数据来自单一 YouTube 频道的自建测试,并非英伟达官方基准,测试环境、驱动版本与量化配置等细节未在素材中完整披露,结果的可复现性有待验证。相关产品规格与可用性请以厂商官网当前信息为准。本文不构成任何采购或投资建议。
来源:IT之家(www.ithome.com),原题为《9 年前英伟达 Tesla V100 老将再战:4 GPU 集群 AI 推理跑赢 2 台 DGX Spark》。