NVIDIA 发布 Nemotron-Labs-Sigma:连续扩散语言模型,3B/8B 共 14 个检查点
NVIDIA 发布 Nemotron-Labs-Sigma,一套 14 个开放检查点的连续扩散语言模型,覆盖 3B 与 8B 规模,在 16 维嵌入空间中去噪生成文本。官方评测显示 Sigma-8B 基础版六任务均值 71.16,自推测解码在单卡 GB200 上平均提速 3.46 倍。
NVIDIA 开放 14 个连续扩散语言模型检查点
NVIDIA 发布了 Nemotron-Labs-Sigma,一套包含 14 个开放检查点的连续扩散语言模型家族,规模为 3B 与 8B。据 MarkTechPost 报道,该系列在 16 维嵌入空间中完成文本去噪,而非像 LLaDA、Dream 等扩散模型那样在离散 token 上操作。检查点分为四类:基础版 Sigma-3B/8B、指令版 Sigma-3B-instruct/8B-instruct、少步蒸馏版 distill-3B/8B(NFE 2、4、8、16,共 8 个),以及自推测版 distill-spec-3B/8B。
连续空间与部署条件
NVIDIA 团队称,连续潜空间让少步蒸馏与轨迹引导在文本任务上变得可行。模型采用 Ministral 风格的 decoder-only Transformer 骨干,训练先以约 1T token 的自回归热启动,再进行约 0.3T token 的扩散训练。部署方面,全部检查点托管于 Hugging Face,采用 NVIDIA Nemotron Open Model License,模型卡称可用于商业用途;需 bfloat16 的 CUDA GPU(Ampere、Lovelace、Hopper、Blackwell),不支持 CPU 推理,加载需 PyTorch 2.4+、Transformers 4.55+ 并启用 trust_remote_code。NVIDIA 未提供托管 API。
评测数据与限制
据 NVIDIA 自评测,Sigma-8B 基础版在六任务套件上均值 71.16,高于 NLD-8B 的 70.22;32 步 DDIM 采样仍为 70.18。指令版 GSM8K 为 91.96、MATH-500 为 78.40、HumanEval 为 82.50,但 AIME24 为 23.33、AIME25 为 17.00,十任务均值 59.14 略低于 NLD-8B 的 59.92。自推测 8B 在单台 GB200 配 SGLang 上平均比自回归解码快 3.46 倍。需注意上述数字均出自 NVIDIA 自身评测,基础版上下文为 4,096 token(8B-instruct 为 8,192),且未列出量化版本;具体许可条款、可用性与部署要求请以官网及模型卡当前信息为准。