AB
AiBoss
News

亚马逊 SageMaker HyperPod 推理服务支持托管 NVIDIA Dynamo

AWS 宣布 Amazon SageMaker HyperPod Inference 支持 NVIDIA Dynamo,可进行多节点部署与预填充、解码分离式推理,并提供两种配置路径。

核心事实

据 AWS 官方博客文章,Amazon SageMaker HyperPod Inference 现已支持开源分布式推理框架 NVIDIA Dynamo。该集成通过 HyperPod Inference 附加组件安装 Dynamo 的自定义资源定义,以及 HyperPod Inference Operator、Dynamo operator、Grove 和 Kubernetes AI(KAI)Scheduler 等组件,并由 AWS Deep Learning Containers 提供 Dynamo 运行时。文章称,HyperPod 以 Elastic Fabric Adapter(EFA)网络、GPU 调度协调和节点健康监控与恢复来支撑这类部署。

背景与影响

文章指出,高效服务大语言模型需要足够的 GPU 显存,并需协调提示处理与 token 生成;长提示与 token 生成共用 GPU 时可能拖慢生成速度。Dynamo 支持多节点部署、预填充与解码分离,以及配合 vLLM、SGLang、TensorRT-LLM 等引擎的 KV 感知路由。配置上提供两条路径:自带 DynamoGraphDeployment(DGD)清单,或使用带 dynamoSpec 的 InferenceEndpointConfig;后者沿用既有配置格式与 OpenAI 兼容接口,推理引擎可选 vLLM、SGLang 或 TensorRT-LLM,默认使用 vLLM。文章以 GLM-5.3 为例演示了多节点聚合与分离式部署。

限制与来源

上述内容来自 AWS 博客文章,文中提到的模型规模、实例规格与部署示例均为该文章的说明,具体可用区域、实例类型、支持的 Dynamo 版本及计费方式尚未在素材中完整列出,使用前请以 AWS 官网当前信息为准。本文未对性能或成本作独立验证。