AB
AiBoss
project

tiny-voca - 4.5M 参数的双音色英语 TTS 模型

tiny-voca 是维护者 n4ze3m 发布的一个小型英语文本转语音模型,含波形生成器在内共 4.5M 参数,提供 F2、M2 两个音色,输出 24 kHz 单声道音频。项目采用 Apache-2.0 许可,权重同时提供 PyTorch 与 ONNX 两种格式,据项目说明可在 CPU 上运行。

tiny-voca 是一个小型英语文本转语音(text-to-speech)模型,由维护者 n4ze3m 发布在 Hugging Face 上。按项目自述,它的完整模型连同波形生成器在内共 4.5M 参数,提供 F2(女声)与 M2(男声)两个固定音色,输出 24 kHz 单声道音频,输入文本先经项目配套的音素化工具 dizione 转成带重音标记的音素序列。它面向的是希望在算力有限的设备上做英语语音合成的开发者:模型体积小、权重同时提供 PyTorch 与 ONNX 两种格式,据项目说明可以在 CPU 上运行,也能通过 onnxruntime-web 在浏览器里跑。

维护者与状态

该模型仓库由 n4ze3m 维护,托管在 Hugging Face 上,任务类型标注为 text-to-speech。仓库创建于 2026-11-14,最后更新于 2026-11-16。截至 2026-11-18 的数据读取时间,近 30 天下载量为 3042,点赞数为 232。事实表中没有给出正式 release 的信息,因此这里不对版本发布情况作推断。

主要能力

以下能力描述均来自项目自述(模型卡),未经本站独立验证。

  • 两个固定音色:F2 为女声、M2 为男声,均为美式英语;不支持声音克隆。
  • 小体量:模型卡给出的参数明细为嵌入层 16,704、文本编码器 1,588,864、时长与停顿预测器 123,906、帧级 Transformer A 与韵律头 795,971、帧级 Transformer B 1,985,984、源-滤波波形头 25,862,合计 4,537,291。
  • 非神经声码器:波形由源-滤波合成器生成,而非神经声码器;该部分仅 25,862 参数,网络每帧(256 采样点,约 10.7 ms)预测一次时变滤波器的倒谱。
  • 可控参数:推理时可选音色、语速(speed)、音高偏移(pitch-shift,0.058 约等于一个半音)与音高范围(pitch-range,围绕整句均值缩放音高起伏)。
  • 长文本处理:据项目说明,任意长度的文本都可以处理,命令行工具会逐句合成再拼接音频;没有结束标点的句子会被补上句号,无法朗读的句子(例如其他文字系统)会被跳过。
  • 两种推理格式:提供 float32 的 PyTorch 权重(18.2 MB)与 ONNX 导出(21.4 MB,opset 17),模型卡称同一文件可在 onnxruntime-web(WebAssembly)中运行,除各自随机生成的噪声信号外,ONNX 输出与 PyTorch 模型的差异在峰值幅度的 0.6% 以内。

训练方面,模型卡说明训练数据为约 18 小时、16,018 条合成语音片段,两个音色均由 Qwen3-TTS VoiceDesign 依据文字描述生成、再由 Qwen3-TTS 1.7B Base 合成录音,不涉及真实说话人的录音;模型不含任何预训练权重,是从零训练的。训练在单张 RTX 4090 上完成,耗时 7.7 小时,共 104,737 步。项目自述整个项目(含数据集、失败尝试与最终训练)的 GPU 租用成本为 9.56 美元。

使用入口

模型仓库地址:n4ze3m/tiny-voca。

据模型卡,PyTorch 路径的安装与调用方式如下(需先安装 dizione 与 tiny-voca 两个包,并下载权重):

pip install git+https://github.com/n4ze3m/dizione git+https://github.com/n4ze3m/tiny-voca
hf download n4ze3m/tiny-voca --local-dir tiny-voca
export DIZIONE_DATA=tiny-voca/phonemizer
python -m tiny_voca.infer \
  --checkpoint tiny-voca/tiny-voca.pt \
  --voice F2 \
  --text "Hello! This is tiny voca." \
  --output hello.wav

ONNX 路径则需要自行用 dizione 把文本转成音素 id 与重音值,再送入 onnxruntime 会话,输入包括 tokens、stress、voice(0 为 F2,1 为 M2)、speed、pitch_shift、pitch_range,输出为 24 kHz 波形与每个 token 的帧时长。模型卡提醒,单次调用只处理一句话,上限 512 个 token、32 秒,更长的文本需自行按句切分;输出峰值可能略高于 1.0(约每二十句出现一次),保存为 16 位采样前应先缩放。

许可与限制

许可证为 apache-2.0。模型卡称权重与代码均以 Apache-2.0 发布,但 phonemizer 目录下的文件派生自其他来源,使用时需留意其原始授权条款。

项目自述的已知限制包括:仅支持英语、只有两个固定音色、不支持声音克隆;音色清晰但略带合成感;F2 听起来比设计意图更年轻,原设计为二十多岁的成年美式女声,更成熟的版本尚在计划中;同一文本每次朗读方式完全相同,韵律不做采样;默认语速略快于训练录音;外来人名与不常见拼写常被读错,数字、缩写与同形异义词的处理取决于音素化工具;不支持流式输出;由于训练数据本身是合成的,模型不可能比生成数据的模型更自然。

模型卡还给出了一组自评数据:用 Whisper small.en 转写合成语音计算词错误率,验证集 8 条为 0.6%、测试集 8 条为 0.9%,与同句真实录音的得分相同;16 条数据集外新句为 0.0%。模型卡同时说明这些集合很小,只能作为粗略检查而非基准,且未进行正式的听感测试。此外,模型卡引用了 2026 年 11 月 16 日快照的 Open TTS Leaderboard,称 M2 在该榜平均词错误率上排第 8、F2 排第 13,并注明该榜将 tiny-voca 两行标注为仅 CPU 运行。这些排名与分数均为项目自述引用,本站未做核实。