Deepgram 将 Nova-3 语音模型移植至 AWS Trainium2，批处理每美元音频量提升 11%–70%

核心事实

AWS 于 2026 年 10 月 19 日发布博客称，语音 AI 公司 Deepgram 与 AWS Forward Deployed Engineering 团队合作，将其 Nova-3 语音转文字模型移植到 AWS Trainium2，面向联络中心分析、医疗转写等离线批处理负载。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行八个模型副本。按评估时的实例价格计算，该配置在 Deepgram 的离线吞吐型批处理负载上，每美元处理的音频量比其此前使用的计算方案高 11%–70%。

背景与影响

据该博客，Deepgram 的模型覆盖语音转文字、文字转语音与语音智能体，每年处理数千万亿级音频 token，服务超过 20 万名开发者和 1400 家机构；用户可通过 Deepgram API 调用，也可在自有环境（包括 Amazon SageMaker AI）中运行。对 Deepgram 而言，推理效率直接决定既定基础设施预算下能处理多少音频。移植过程从标准 PyTorch 代码出发，借助 TorchNeuron 先以 eager 模式运行并排查回退到 CPU 的算子，再用 torch.compile 编译；随后替换 NKILib 中的融合算子，并针对 FFN、depthwise conv1d、conv2d 等层做内核级调优。服务侧则用 Rust 构建数据并行运行时，通过共享工作窃取队列调度副本，经 C 层直接调用 Neuron Runtime API 执行预编译的 NEFF，服务路径中不含 Python 或 PyTorch。博客称该方案在测试的各批次规模下复现了参考 token 序列。这些收益也可能惠及在自有 VPC 的 SageMaker AI 上自托管 Deepgram 模型的客户。

限制与来源

上述 11%–70% 为相对增益，基于评估时的实例定价，并非当前价格或绝对吞吐数字；博客未披露具体定价、可用区域与上线时间。相关性能结论来自 AWS 官方博客的单方描述，尚未见独立第三方验证。具体价格、功能与地区支持请以 AWS 与 Deepgram 官网当前信息为准。