AWS 发布在 EKS 与 SageMaker HyperPod 上部署 NVIDIA Nemotron 模型的参考方案

核心事实

AWS 在官方博客中发布了一套参考实现，用于在 Amazon Elastic Kubernetes Service（Amazon EKS）、Amazon EKS Auto Mode 以及 Amazon SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 系列模型。文章以 NVIDIA Nemotron 3.5 Super VL 为主要示例：该模型为 120B 参数混合专家（MoE）模型，每个 token 激活 12B 参数，支持文本、图像、文档与视频输入，输出为文本，上下文长度最高 1M token，提供 BF16 与 NVFP4 两种检查点。NVIDIA 公开了权重、训练数据集与后训练配方。

背景与影响

据博客介绍，该模型采用 Mamba-2、注意力层与专家层交织的混合架构，并配有 RADIO 视觉编码器，Mamba-2 层的状态大小恒定，有助于降低长上下文的开销。文章列出的适用场景包括代码测试与错误分析、网络资料交叉核验、表格与图表类文档理解、漏洞识别与威胁分级、视频内容检索与事件分析。部署侧由 NVIDIA Dynamo 与 vLLM 提供推理服务，可单节点聚合部署，也可将预填充与解码拆分到不同节点；容器镜像存放于 Amazon ECR，模型权重放在共享的 Amazon FSx for Lustre 卷上，GPU 节点之间通过 EFA 互联。文章称该架构已在 p6-b200.48xlarge 与 p5en.48xlarge 实例上完成验证，并给出用 NCCL 与 aiperf 做校验和性能测量的方法。

限制与来源

文中性能数字（如 Hermes Bench 63.44%、LangChain agent 评测 87.05%、CharXiv 80.8%）均为 NVIDIA 自行报告，博客未提供独立复现结果；并发扫描中的延迟与吞吐示例属于特定拓扑与配置下的测量，不能直接外推。最低 GPU 配置、支持的框架清单与部署细节以 NVIDIA 与 AWS 官方文档的当前信息为准。本文依据 AWS 机器学习博客文章整理，相关能力与可用性尚未获双方独立确认。