AB
AB
AiBoss站

全部分类

project

ZONOS3-Mini - Zyphra 的紧凑型开源语音合成模型

ZONOS3-Mini 是 Zyphra 发布的开源文本转语音模型，采用约 1 亿激活参数的 MoE 架构，据项目说明支持 43 种语言、声音克隆与细粒度韵律控制，可在浏览器、NVIDIA GPU 与 Apple Silicon 上本地运行。模型权重以 Apache 2.0 许可发布。

ZONOS3-Mini 是 Zyphra 发布的一个紧凑型开源文本转语音（text-to-speech）模型。按项目自述，它的目标是在较小的计算开销下提供自然、稳定的语音合成与高保真声音克隆能力，并能在手机、笔记本电脑乃至浏览器中实时运行。它适合需要本地部署语音合成能力的开发者，也适合做游戏配音、有声叙述与语音助手这类需要控制情绪、语速与表达方式的产品团队。模型权重托管在 Hugging Face 上，任务类型标注为 text-to-speech，所属框架为 zonos3。

维护者与状态

该项目由 Zyphra 维护。仓库创建于 2026-11-09，最后更新于 2026-11-11。截至 2026-11-12 的数据读取时间，近 30 天下载量为 4170 次，点赞数为 175。事实表中没有给出正式 release 版本信息，因此这里不对版本号作任何推断；如需确认发布状态，应以仓库页面的实际展示为准。

主要能力

以下能力均来自项目自述（模型卡 / README），未经本站独立验证。

  • 多语言合成：据项目说明，ZONOS3-Mini 支持 43 种语言，覆盖西欧与南欧（英语、法语、西班牙语、德语、意大利语、葡萄牙语、荷兰语、希腊语）、北欧（瑞典语、丹麦语、挪威语、芬兰语）、中东欧（波兰语、捷克语、斯洛伐克语、匈牙利语、罗马尼亚语、保加利亚语、俄语、乌克兰语）、中东与高加索（土耳其语、阿拉伯语、希伯来语、格鲁吉亚语）、东亚（普通话、日语、韩语）、东南亚（越南语、印尼语、马来语、泰语、他加禄语）以及南亚多种语言（印地语、孟加拉语、泰米尔语、泰卢固语、马拉地语、古吉拉特语、卡纳达语、马拉雅拉姆语、旁遮普语、奥里亚语、乌尔都语）。
  • 声音克隆：README 中称，可以从一段音频样本克隆音色；在 SGLang 部署方式下，只需提供参考音频片段即可克隆，无需对应文本转录。
  • 角色设计：项目自述可以通过调节年龄、口音与音色质感来塑造角色声音。
  • 细粒度控制：据项目说明，情绪、节奏与表达方式可以控制到单个词级别。模型卡列出的声学控制项包括响度（LUFS，10 个分桶）、带宽 f_max（Hz，10 个分桶）与语速（以每秒 UTF-8 字节数计，30 个分桶），每一行控制都带有一个「未知」索引。
  • 实时与流式输出：项目自述模型可在浏览器中通过 WebGPU 完全在本地 GPU 上运行，首次访问时下载模型，之后由浏览器缓存；服务端方式支持流式输出 44.1 kHz 音频。
  • 架构概要：模型卡给出的粗略描述为 11 层骨干、模型维度 1024，总参数 800M，每 token 约 100M 激活参数（潜在 MoE，64 个专家，top-2 路由）；序列混合采用 9 层 Gated DeltaNet 加 2 层全局注意力，上下文长度 32,768；文本侧使用 8,192 条目的 SuperBPE 分词器；音频侧为 15 Hz、44.1 kHz 双编码编解码器，10 个 4,096 条目的码本；解码器为因果多分辨率 iSTFT 头，单次生成最长可达 10 分钟音频。

使用入口

模型仓库地址为 ZONOS3-Mini，权重与模型卡均在该页面发布。

据项目说明，使用方式主要有三类：

  • 浏览器：通过 WebGPU 在本地 GPU 上运行，无需安装、无需服务器，前提是浏览器支持 WebGPU。项目提供完整工作室版本与面向快速声音克隆的 Lite 版本。
  • SGLang-Omni 服务：在 NVIDIA GPU 上以 OpenAI 兼容的 /v1/audio/speech 接口提供服务，支持流式与参考音频克隆。按 README 的示例，先安装 SGLang-Omni，再启动服务：
sgl-omni serve --model-path Zyphra/ZONOS3-Mini --port 8000

健康检查通过后，可用 curl 请求默认音色：

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"input": "Hello from ZONOS3-Mini!"}' \
  --output output.wav

在请求体中加入 "references": [{"audio_path": "..."}] 可克隆音色，加入 "stream": true, "response_format": "pcm" 可边生成边输出 44.1 kHz 音频。

  • 原生运行时：据 README，ZONOS3-Mini 的 GitHub 仓库提供 Zyphra 自研的多种运行时，共享同一套 HTTP API，包括面向 NVIDIA GPU 的 CUDA 服务、面向 Apple Silicon 的 MLX 服务、C++/ggml 服务与命令行工具（支持 CPU、CUDA、Metal 或 Vulkan），以及浏览器内的 WebGPU 构建。这些运行时加载 gguf/ 下的 GGUF 文件与 web/ 下的 WebGPU 分片，按语言分组的 27 个默认音色位于 gguf/voices/。

许可与限制

许可证为 apache-2.0，模型权重按该许可发布。

关于已知限制与适用边界，项目素材中明确提到的前置条件包括：浏览器方式需要支持 WebGPU 的浏览器；SGLang 方式需要 NVIDIA GPU；原生运行时则分别对应 NVIDIA GPU、Apple Silicon 以及支持 CPU、CUDA、Metal 或 Vulkan 的环境。文本归一化方面，模型卡说明 NeMo 归一化仅覆盖英语、普通话、日语、韩语、德语、西班牙语、法语、意大利语与葡萄牙语，其他语言按原文直接送入。此外，模型卡中提到的评测结果、速度与吞吐数字均发布在其博客文章中，本介绍未引用这些数字，读者如需性能结论应查阅原始材料并自行验证。

返回