NVIDIA 博客介绍 DGX Spark 上 MoE 推理三项优化
NVIDIA 开发者博客介绍在 DGX Spark 上优化 Ling-3.0-flash 混合专家模型推理的三种方法：Humming MXFP4 MoE 内核、LM head 在线 FP8 量化与 NEXTN 多 token 预测投机解码。在 GSM8K 全量测试中，三项优化叠加使解码吞吐提升 42.5%，平均延迟下降 24.5%。
NVIDIA 博客介绍 DGX Spark 上 MoE 推理三项优化
NVIDIA 开发者博客于 10 月 27 日发布文章，介绍在 DGX Spark 上提升混合专家（MoE）模型推理性能的三种方法，并以 Inclusion AI 的 Ling-3.0-flash 为示例。该模型总参数 1240 亿，每 token 激活 51 亿参数。文章称，在 batch size 为 1 的评测中，解码阶段受内存带宽限制，MoE 计算与输出层投影是主要耗时来源。
三项优化分别是：以 Humming 内核库替换 FlashInfer MXFP4 MoE 后端；对 LM head 做在线 FP8 量化，将其权重读取量减半；利用模型内置 NEXTN 层进行多 token 预测投机解码。据文章数据，在 32K 输入、2K 输出的合成负载下，三项叠加使每输出 token 时间从 27.71 ms 降至 9.72 ms，解码吞吐提升 185.1%。在 GSM8K 全部 1319 道题上，解码吞吐提升 42.5%，平均延迟下降 24.5%，准确率变化为 −0.08 个百分点，文章称未检测到统计显著的准确率变化。
文章同时提示，合成负载会系统性高估投机解码收益，185.1% 的提升不能推广到其他负载；三项优化叠加并非自动生效，若草稿模型未共享完整 LM head 模块，系统会静默退化到比未优化基线更慢的配置。上述数字均为该博客给出的特定环境测试结果，实际表现因硬件、模型版本与负载而异，部署前应以官方文档与当前版本信息为准。