英伟达在 DGX Spark 上优化 MoE 推理，Ling-3.0-flash 吞吐提升 42.5%

核心事实

据 MarkTechPost 报道，英伟达在一篇技术博客中展示了在单台 DGX Spark 桌面系统上加速混合专家（MoE）模型推理的三种做法，测试模型为蚂蚁集团 inclusionAI 的 Ling-3.0-flash。该模型总参数 124B、每 token 激活 5.1B。三项优化叠加后，在全部 1,319 道 GSM8K 题目上，解码吞吐从 37.81 tokens/s 升至 53.89 tokens/s，提升 42.5%；平均延迟从 15.21 秒降至 11.49 秒，下降 24.5%；准确率从 96.89% 变为 96.82%，英伟达称这一差异在统计上不可检测。

背景与影响

DGX Spark 基于 GB10 Grace Blackwell 超级芯片，配备 128 GB 统一内存与 273 GB/s 内存带宽，英伟达称其面向最高 200B 参数模型的推理。博客指出，在 batch size 为 1 时解码受内存带宽限制，瓶颈集中在 MoE 计算与 LM head 两部分。三项优化分别是：以独立内核库 Humming 替换 FlashInfer 的 MoE 后端，按实际矩阵形状在运行时编译内核；将 LM head 在加载时量化为 FP8，使该层读取量减半；利用模型内置的 NEXTN 预测层做 MTP 投机解码，无需额外草稿模型。三者作用不重叠：前两项降低单步成本，第三项减少解码步数。在合成的 32K 输入、2K 输出测试中，吞吐提升达 185.1%，但英伟达解释，合成数据输出更重复、且采用贪心解码，接受长度更高，因此真实负载上的增益明显收窄。

限制与来源

英伟达提示，FP8 LM head 与 MTP 同时启用时，草稿必须共享完整的 LM head 模块，否则框架会静默回退，接受长度降至 1.00，吞吐甚至低于未优化基线，建议在启动时逐项确认优化是否生效。上述数字均来自英伟达自述的单一模型、单机、batch size 为 1 的测试，未经第三方复现，不代表其他模型或硬件的表现。Ling-3.0-flash 以 MIT 许可证发布，权重与配方见 Hugging Face 及 SGLang、Ling cookbook。本文信息来自 MarkTechPost 对英伟达技术博客的报道，具体配置与可用性请以官方页面当前信息为准。