AB
AiBoss
ニュース

Sarvam 推出 Token Factory:在印度托管 8 款开放模型推理服务

Sarvam 开放 Sarvam Token Factory,通过单一 OpenAI 兼容 API 提供自研与开放权重模型推理,算力位于印度的 GPU 集群,并支持企业本地部署。

Sarvam 开放 Token Factory 推理平台

Sarvam 宣布向所有开发者开放 Sarvam Token Factory。据 MarkTechPost 报道,该平台是一项托管推理服务,既提供 Sarvam 自研模型,也提供开放权重模型,运行在位于印度的 GPU 集群上,开发者通过一个 OpenAI 兼容 API 调用全部模型。发布时列出的模型共 8 款,包括 Sarvam 105B(总参数 105B、激活 9B、128K 上下文)、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro 与 Gemma 4 31B。平台同时向企业提供本地部署选项。

背景与影响

该平台此前以 Sarvam Inference 的名义在 Epoch 活动上预览。按报道描述,其技术栈由控制面、推理引擎与共享缓存三层构成,基于 vLLM、SGLang、Dynamo、Mooncake 等开源组件,并采用预填充与解码分离的 GPU 池。对位于印度的团队而言,主要意义在于推理流量无需发往印度以外的云服务。Sarvam 公布的对比数据显示,在部分模型与负载下首 token 延迟和吞吐优于其他服务商;但在 DeepSeek V4.1 Flash 的 10K 提示场景中,Together 的首 token 为 0.71 秒,快于 Sarvam 的 0.90 秒。上述数字均为 Sarvam 自行测量。

限制与来源

所有性能数据来自 Sarvam 的发布材料,尚未经独立验证。定价以印度卢比计价,Sarvam 105B 为每百万 token 输入 ₹10、输出 ₹25(介绍期价格),介绍期至 2026 年底;部分模型需按组织开通 Provisioned Throughput,其费率未在文档页公布。模型可用性、价格与地区支持请以 Sarvam 官网当前信息为准。本文来源为 MarkTechPost 报道。