AWS 博文：在 SageMaker AI 上流式部署 Kokoro TTS 为 AI 智能体降延迟

核心事实

AWS 于 2026 年 10 月 22 日发布技术博文，介绍一种在 Amazon SageMaker AI 上托管 Kokoro-82M 文本转语音（TTS）模型、并按句流式合成的方案。按博文描述，智能体每生成一句，该句就立即送入模型合成，音频可在完整回答生成完毕前开始播放，从而缩短语音智能体的首字等待时间。模型以自定义容器形式运行在 SageMaker AI 实时端点上，实例为 ml.g5.xlarge；容器提供 POST /invocations 与 WS /invocations-bidirectional-stream 两条路由，后者在一条连接上双向传输多条消息。

背景与影响

博文指出，传统集成方式要等整段回答生成完才开始合成：一句话可能 600 毫秒生成完，但完整回答需 5 秒，用户在这段时间内听不到任何声音。Kokoro-82M 仅有 8200 万参数，博文称其小到可在单块中端 GPU 实例上低成本运行，有助于同时控制延迟与推理成本。部署通过两个封装 AWS CDK 栈的命令行工具完成，分别用于端点与托管 Strands 智能体的 Amazon Bedrock AgentCore 运行时，博文建议先部署端点。

限制与来源

博文列出若干注意事项：示例容器固定了较旧版本的 PyTorch，存在已知安全公告（PYSEC-2026-2286，已在 torch 2.10.0 修复），非概念验证用途前应审查并升级；需要 Python 3.12 及以上、uv、Docker，以及支持双向流式调用的 Boto3。文中还提示，SageMaker AI 的双向传输以二进制 WebSocket 帧投递消息，若处理器只读取文本字段会报错，且端点状态仍显示 InService，容易被误判；会话应在多条消息间保持打开，仅在客户端显式发送关闭消息时断开。上述内容为博文作者的技术说明，具体功能、区域可用性与计费请以 AWS 官网当前信息为准。