AB
AiBoss站
快讯

AWS 推出 SageMaker HyperPod 全球推理网关,单一端点跨区域调度集群

AWS 发布 Amazon SageMaker HyperPod Global Inference Gateway,用一个 SageMaker 托管端点跨区域、跨集群路由推理请求,支持自动故障转移,并通过 SigV4、IAM 与 AWS PrivateLink 完成认证与私有连接。

核心事实

AWS 在其机器学习博客中介绍了 Amazon SageMaker HyperPod 的 Global Inference Gateway。据该文描述,这是一个由 SageMaker 托管的网关,可在用户注册的多个 HyperPod 集群之间路由推理请求,这些集群可以位于同一 AWS 区域,也可以跨区域。客户端只需调用一个端点,网关负责选择集群,并通过 AWS 骨干网传输请求,同时提供自动故障转移,认证基于 AWS Signature Version 4(SigV4)与 AWS Identity and Access Management(IAM)。集群内部仍由原有的 Inference Gateway 选择具体的模型 Pod。

背景与影响

文章指出,随着模型规模增大,GPU 容量往往分散在更多集群和更多区域中。以一个团队在两个区域、五个集群上服务四个模型为例,若没有推理网关,客户端需要跟踪 20 个端点;引入集群级 Inference Gateway 后可降至 5 个,但客户端仍需自行选择集群,由此带来负载不均、手动故障转移以及自建负载均衡、DNS 和跨区域网络等问题。Global Inference Gateway 的定位是解决跨集群这一层:高峰期请求可溢出到有空闲容量的集群,集群故障时流量自动转移,客户端无需改动。文章还引用了 Bagelcode 相关负责人的说法,称其在测试中通过单一端点跨两个 AWS 区域路由请求,并在一个集群无法继续服务时保持可用。

限制与来源

上述内容来自 AWS 官方博客的发布文章,属于厂商自述,文中未给出独立的性能测试数据或定价信息。使用前需先发布集群(在集群的 InferenceGatewayConfig 中开启 spec.globalRouting),再通过 CreateGlobalInferenceGateway 创建网关;若在发布前就把集群列入网关,调用会失败。路由权重可对四项信号分别设置 0.0 至 1.0 的取值,若设置则四项之和须为 1.0,省略时采用默认权重。具体功能范围、区域可用性与计费方式,请以 AWS 官网当前信息为准。