AB
AiBoss站
快讯

Salesforce 借 SageMaker AI 跨区域推理路由调度全球模型服务

AWS 博客介绍 Salesforce 如何在 Amazon SageMaker AI 中使用跨区域推理路由,在 30 多个区域间调度模型推理流量,并在数据驻留约束下应对容量不均与流量峰值。

核心事实

AWS 博客发文介绍 Salesforce 的 Agentforce Foundation 团队如何在 Amazon SageMaker AI 中使用跨区域推理路由(cross-Region inference routing)。据文章描述,该团队在 30 多个全球区域、数百个 AWS 账户中为 Agentforce、Salesforce Trust Layer 等产品提供自研模型与开源模型的推理服务。跨区域推理路由为应用提供一条统一的调用路径,把请求发送到能够处理它的 SageMaker AI 端点;这些端点均为 Salesforce 已部署的自有资源。路由器是账户内的区域级资源,应用调用路由器而非直接调用端点,并通过“路由目标”名称指定逻辑模型,目标下列出可服务该模型的端点与推理组件的 ARN。

背景与影响

文章称,此前若在每个区域单独托管模型,容量会被切分,流量高峰更难吸收,容量短缺可能演变为可用性问题。Salesforce 原先由内部网关把本地端点无法处理的流量转发到其他区域,但该路径缺少容量信号,跨区域流量需经 NAT 网关和互联网网关走公共 AWS 网络,团队还担心故障期间转移流量会引发级联过载。接入路由器后,这一调用位于数据驻留检查之后、响应处理之前:带驻留要求的请求被固定在本区域路由目标,不会跨边界故障转移;其余请求交给路由器,由其在本地端点出现容量压力迹象时切换到其他区域的端点。文章称路由器依据近期请求结果判断目标健康度,平台故障、5xx、限流与超时都会降低健康度,恢复后流量回流较慢以避免来回摆动;它不部署模型、不复制产物、不增加实例。

限制与来源

上述内容来自 AWS 官方博客的客户案例叙述,文中未给出吞吐、延迟、成本等量化指标,也未说明该功能在各区域的可用范围与计费方式,相关细节应以 AWS 与 Salesforce 官网当前信息为准。本文仅为技术方案介绍,不构成任何采购或投资建议。

来源:AWS 机器学习博客