AB
AiBoss站
快讯

Amazon SageMaker AI 新增推理端点延迟漂移与 GPU 闲置检测

Amazon SageMaker AI 宣布为生成式 AI 推理端点提供默认开启的监控,可发现延迟漂移、GPU 闲置与配置缺口,并通过 AWS Health 通知,用户可自行选择是否运行基准测试。

核心事实

Amazon SageMaker AI 宣布,其生成式 AI 优化推理建议功能新增对推理端点的持续监控,可识别三类问题:延迟漂移(中位端到端延迟或首 token 时间周环比上升)、未使用容量(GPU 长期接近闲置)以及配置缺口(服务容器缺少较新版本或安全补丁,或未启用投机解码、GPU 内核调优等模型已支持的优化)。据 AWS 博客文章,该监控对使用 vLLM 服务容器和 GPU 实例的 SageMaker AI 推理端点默认开启,无需配置,也可选择让端点退出监控。

背景与影响

AWS 表示,监控只读取延迟、GPU 利用率和端点服务配置等运行信号,不读取请求或响应内容,且不产生额外 GPU 成本。发现问题后,系统通过 AWS Health 发送通知,每个端点一次通知汇总其发现项,并附邮件提醒。用户可从通知进入 Amazon SageMaker Studio 的智能体体验,在独立算力上对备选配置做基准测试,比较响应时间、吞吐量和每百万 token 成本;在用户主动应用结果之前,生产端点不会发生变化。基准测试按 SageMaker AI 标准计费,若已有机器学习预留则可抵扣。

限制与来源

监控本身无需设置,但若要运行基准测试并应用变更,需要具备 AWS Health 与 AWS User Notifications 控制台访问权限、SageMaker Studio 域及相关 IAM 权限,并满足基准实例的服务配额。通知按 AWS 区域区分。上述功能可用范围、计费方式与配额以 AWS 官网当前信息为准。本文信息来自 AWS 官方博客文章,具体效果尚未获独立验证。