project
Nemotron 3.5 Lightning - 英伟达开源的 MoE 模型
Nemotron 3.5 Lightning 是英伟达推出的 30B 参数开源 MoE 模型，专为多智能体系统优化。相比同类模型，输出速度提升 4 倍，智能体任务完成速度加快 30%，在...
Nemotron 3.5 Lightning是什么
Nemotron 3.5 Lightning 是英伟达推出的 30B 参数开源 MoE 模型，专为多智能体系统优化。相比同类模型，输出速度提升 4 倍，智能体任务完成速度加快 30%，在准确率与速度间取得优异平衡。模型支持从 RTX PC、Jetson 到数据中心的全场景部署，已在 Hugging Face、NVIDIA Build 等平台开源，助力开发更高效的智能体应用。
Nemotron 3.5 Lightning的主要功能
- 多智能体任务执行：该模型专为大型多智能体系统中的特定任务打造，助力开发者构建更智能、更高效的智能体应用。
- 高速推理输出：与同类模型相比，Nemotron 3.5 Lightning 可实现高达 4 倍的输出速度提升，将智能体任务的整体完成速度加快 30%。
- 全场景灵活部署：模型可直接运行在本地 AI 系统（包括 NVIDIA RTX PC、DGX Spark、Jetson 等），也可无缝扩展至边缘设备、工作站、数据中心及云端环境。
Nemotron 3.5 Lightning的技术原理
- MoE 混合专家架构：Nemotron 3.5 Lightning 采用 30B 参数的 MoE（混合专家）架构，总参数量达 300 亿，每次推理仅激活约 30 亿参数的子网络，通过稀疏激活机制在保持大模型能力的同时大幅降低计算开销，实现高效推理。
- NVFP4 量化压缩：模型支持 NVFP4 量化格式，这是英伟达自研的 4-bit 浮点精度方案，能显著压缩模型体积与显存占用，使其能流畅运行在 RTX PC、Jetson 等消费级与边缘设备上。
- 智能体场景专项优化：模型针对多智能体（Multi-Agent）协作场景进行专项训练优化，重点提升长链推理、工具调用和任务分解等关键环节的稳定性与准确性，更好地支撑复杂智能体工作流。
- 速度-准确率联合优化：在架构设计与训练策略上，Nemotron 3.5 Lightning 实现了准确率与推理速度的联合优化，在 PinchBench 基准测试中展现出优于同类模型的综合表现，保证了任务完成质量，又将智能体整体执行速度提升了 30%。
微信关注回复“开源”，加入AI开源项目交流群
如何使用Nemotron 3.5 Lightning
- Hugging Face 下载：访问 Hugging Face 官方仓库下载模型权重，可在本地加载运行 Nemotron 3.5 Lightning。
- NVIDIA Build 平台：前往 NVIDIA Build 官网获取模型介绍、技术文档及部署指南。
- 本地设备部署：将模型直接部署在 NVIDIA RTX PC、DGX Spark、DGX Station 或 Jetson 等本地设备上运行。
- 企业级扩展：无缝扩展至 RTX PRO 工作站、数据中心或云端环境，满足企业级应用需求。
Nemotron 3.5 Lightning的核心优势
- MoE 稀疏激活架构：模型采用 30B 总参数、约 3B 激活参数的 MoE 架构，在保持大模型能力的同时大幅降低计算开销。
- 极速推理性能：相比同类模型输出速度提升 4 倍，可将智能体任务整体完成速度加快 30%。
- NVFP4 量化支持：通过英伟达自研 4-bit 浮点量化格式显著压缩显存占用，实现从 RTX PC 到数据中心的全场景部署。
- 智能体专项优化：针对多智能体长时运行任务进行专门训练，在准确率与推理速度间取得优异平衡。
Nemotron 3.5 Lightning的项目地址
- 项目官网：https://developer.nvidia.com/blog/nvidia-nemotron-3-5-lightning-delivers-fast-accurate-specialized-task-execution-for-long-running-agents/
- HuggingFace模型库：https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4
Nemotron 3.5 Lightning的同类竞品对比
| 对比维度 | Nemotron 3.5 Lightning | Qwen3.6-35B-A3B |
|---|---|---|
| 发布方 | NVIDIA（英伟达） | 阿里通义千问 |
| 总参数量 | 30B | 35B |
| 激活参数量 | 约 3B（30B-A3B） | 3B |
| 架构 | MoE（混合专家） | MoE（混合专家） |
| 上下文长度 | 未明确提及 | 200K |
| 开源协议 | 完全开源 | Apache 2.0（可商用） |
| 推理速度 | 输出速度提升 4 倍，任务完成加快 30% | 高效推理，具体倍数未公开 |
| 编程能力 | 未明确具体基准 | SWE-bench Verified 73.4，Terminal-Bench 2.0 51.5 |
| 多模态支持 | 未明确 | 原生支持，视觉能力与 Claude Sonnet 4.5 持平 |
| 推理模式 | 未明确 | 支持思考/非思考模式灵活切换 |
Nemotron 3.5 Lightning的应用场景
- 多智能体协作系统：作为专用任务模型驱动复杂 Agent 工作流，高效完成工具调用、任务分解与长链推理。
- 本地边缘 AI 推理：依托 NVFP4 量化和稀疏激活机制，在 RTX PC 和 Jetson 设备上实现低延迟、低功耗的本地推理。
- 企业级智能体平台：无缝扩展至数据中心和云端，支撑高频、长时运行的企业级智能体服务与自动化流程。
- 代码开发与 DevOps 自动化：快速生成、审查与调试代码，加速软件开发与持续集成中的智能体任务执行。
- 实时数据分析与决策支持：在需要快速响应的业务场景中，提供高速、准确的推理结果，辅助实时决策。