Audio8-TTS-Realistic - 0.6B 参数、支持 23 种语言的零样本语音克隆 TTS 模型

Audio8-TTS-Realistic 是维护者 Edge0 发布在 Hugging Face 上的文本转语音模型，主模型参数量为 0.6B。据项目说明，它在 Audio8-TTS-Preview-0.6b 的基础上重点提升语音真实感，同时保留紧凑的 0.6B 架构与零样本音色克隆能力，并把支持语言从 11 种扩展到 23 种。它适合需要在自有 GPU 上部署语音合成、希望用一段参考录音克隆音色，或需要多语种合成的开发者与小型团队；如果只是偶尔试用，仓库也提供了托管在 Hugging Face ZeroGPU 上的交互式 Playground，但其可用性取决于排队情况与每日 GPU 额度。

维护者与状态

该模型由 Edge0 维护，仓库类型为 Hugging Face 模型仓库，任务类型为 text-to-speech，框架标注为 transformers。仓库创建于 2026-10-14，最后更新于 2026-10-27。截至 2026-11-01 的数据读取时间，近 30 天下载量为 2755，点赞数为 163。事实表中没有给出正式 release 信息，因此这里不对版本发布节奏作任何推断。

主要能力

以下能力均来自项目自述，未经本站独立验证。

• 真实感提升：README 称新版本在 Preview 基础上带来更自然的韵律与更具表现力的表达。
• 多语种覆盖：支持 23 种语言。Preview 已支持的 11 种为粤语、中文、英语、法语、德语、意大利语、日语、韩语、波兰语、西班牙语；Realistic 新增 12 种为阿拉伯语、芬兰语、印地语、印尼语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语、越南语。项目同时提示各语言质量存在差异。
• 零样本音色克隆：给出一段干净的参考录音及其逐字转写文本，即可克隆该音色；也可以不提供参考音频，直接做普通语音合成。
• DualAR 架构：据项目说明，模型受 Fish Audio S2 Pro 启发，慢速 AR transformer 为每个音频帧预测一个语义 token，快速 AR transformer 在慢速隐状态与已有 codebook 条件下预测该帧的 codec codebook。主模型 601,159,424 参数（不含 codec），慢速与快速 AR 均为 24 层 / 4 层、宽度 896、14 个注意力头、2 个 KV 头，声学 token 为 10 个 codebook、每个 4096 条目。
• 内置 codec：仓库自带 44.1 kHz 神经音频 codec，每模型帧 2048 个采样（约 21.5 帧/秒），同时负责参考音频编码与波形解码，无需额外下载 codec 检查点。上下文最多 2048 个打包的文本/音频位置。
• GPU 服务适配：提供 SGLang Omni 适配器，支持 paged attention、动态批处理，以及 OpenAI 兼容的 /v1/audio/speech 接口；适配器以独立模型插件形式安装，不覆盖 SGLang Omni 核心文件。

使用入口

模型仓库地址为 Edge0/Audio8-TTS-Realistic-0.6b。据项目说明，推荐使用 Python 3.10 或更新版本以及支持 CUDA 的 GPU，依赖安装方式如下：

pip install "torch>=2.5.0" "torchaudio>=2.5.0" \
  "transformers>=4.57.0,<5" "accelerate>=0.12" "safetensors>=0.4"

模型使用自定义 Transformers 代码，加载时需传入 trust_remote_code=True。基本流程是用 AutoProcessor 与 AutoModel 加载模型，把待合成文本、参考音频路径与参考文本一起交给 processor，再调用 model.generate 生成 codec 编码，最后用 model.decode_audio 解码为波形并写出 wav 文件。若不做音色克隆，只需在 processor 调用中去掉参考音频与参考文本两项。项目说明还提到，命令行推理、批处理与监督微调可参考 Audio8 TTS 主仓库，并把本模型路径作为模型参数传入；高吞吐部署则使用 0.6B 配置 sglang_omni/configs/audio8_tts_0_6b.yaml。

许可与限制

许可证为 apache-2.0。使用前需要注意项目自述中列出的若干边界：

• 语言质量并不均衡，README 明确提示应参考逐语言评测结果。
• 零样本克隆要求参考录音干净，且其转写文本必须与录音内容逐字一致。
• 项目说明中的运行验证在 NVIDIA H20 上以 BF16 完成，覆盖模型加载、中英文有无参考音频的生成，以及阿拉伯语、粤语、葡萄牙语、俄语生成；这些属于运行时检查，与基准评测是两回事。
• SGLang Omni 适配器的验证同样在 NVIDIA H20、BF16 下进行，通过非流式语音 API 测试有无参考音频的生成，测试时关闭了 Torch 编译与 CUDA graphs；项目说明称吞吐与流式并未做基准测试。
• 项目自述的评测指标衡量的是可懂度与说话人相似度，并不直接衡量听感上的真实感；不同评测流程与文本归一化方式不同，相关对比只能视为参考。

此外，模型依赖自定义 Transformers 代码，项目建议在使用前先审阅仓库中的相关文件。