Audio8-TTS-Realistic-Air - 0.6B 参数、支持 23 种语言的零样本语音克隆 TTS 模型

Audio8-TTS-Realistic-Air 是一个文本转语音（TTS）模型，由维护者 Edge0 发布在 Hugging Face 上，采用 transformers 框架。按项目自述，它建立在 Audio8-TTS-Preview-0.6b 之上，重点改进语音真实感，同时保留紧凑的 0.6B 主模型规模与零样本声音克隆能力，支持语言从 Preview 的 11 种扩展到 23 种。它适合需要在自有 GPU 上部署多语言语音合成、用一段参考录音克隆音色，或通过 OpenAI 兼容接口接入语音服务的研究者与工程团队。

维护者与状态

仓库由 Edge0 维护，任务类型为 text-to-speech，框架标注为 transformers。仓库创建于 2026-10-14，最后更新于 2026-11-02。截至 2026-11-11，近 30 天下载量为 17201，点赞数为 383。事实表中没有该仓库的正式 release 记录，因此这里不描述版本发布情况，模型权重与配套代码以仓库当前内容为准。

主要能力

以下能力均来自项目自述（模型卡），未经本站独立验证。

• 改进的语音真实感：据项目说明，新版本在 Preview 基础上带来更自然的韵律与更有表现力的表达。
• 多语言覆盖：支持 23 种语言。Preview 已支持的 11 种为粤语、中文、荷兰语、英语、法语、德语、意大利语、日语、韩语、波兰语、西班牙语；本版本新增 12 种，为阿拉伯语、芬兰语、印地语、印度尼西亚语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语、越南语。项目同时提示各语言质量存在差异。
• 紧凑模型：主模型 601,159,424 个参数，音频编解码器单独打包，不计入该参数量。
• 灵活的生成方式：既可用参考录音加对应转写文本做零样本声音克隆，也可在没有参考音频的情况下直接合成语音。
• GPU 服务能力：提供 SGLang Omni 适配器，支持 paged attention、动态批处理，并暴露 OpenAI 兼容的语音 API。

模型卡还给出了架构细节：采用受 Fish Audio S2 Pro 启发的 DualAR 结构，慢速 AR 变压器为每个音频帧预测一个语义 token，快速 AR 变压器在慢速隐状态与先前码本的条件下预测该帧的编解码码本。慢速与快速 AR 均为 24 层与 4 层、宽度 896、14 个注意力头、2 个 KV 头；声学 token 为 10 个码本、每码本 4096 项；编解码器采样率 44.1 kHz，每帧 2048 个采样点（约 21.5 帧/秒）；上下文最多 2048 个打包的文本/音频位置。随仓库附带的编解码器同时负责参考音频编码与波形解码，无需额外下载编解码器权重。

使用入口

模型仓库地址：Edge0/Audio8-TTS-Realistic-Air。

据项目说明，推荐使用 Python 3.10 或更新版本以及支持 CUDA 的 GPU，安装依赖的命令为：

pip install "torch>=2.5.0" "torchaudio>=2.5.0" \
    "transformers>=4.57.0,<5" "safetensors>=0.4"

模型使用自定义 Transformers 代码，加载时需传入 trust_remote_code=True。基本流程是用 AutoProcessor 与 AutoModel 从仓库加载处理器和模型，构造输入后调用 model.generate 生成声学码，再用 model.decode_audio 解码为波形并写出音频文件。做零样本克隆时，处理器需要同时接收待合成文本、参考音频路径以及参考录音的逐字转写；不做克隆时只传文本即可。项目强调参考录音应干净，且转写必须与录音内容完全一致。命令行推理、批处理与监督微调的说明，模型卡指向同名的 Audio8 TTS 仓库，并把本仓库路径作为模型路径使用。

高吞吐服务方面，SGLang Omni 适配器以独立模型插件形式安装，不覆盖 SGLang Omni 核心文件，使用 0.6B 配置 sglang_omni/configs/audio8_tts_0_6b.yaml，模型路径指向本仓库或其下载快照，即可提供 OpenAI 兼容的 /v1/audio/speech 服务。项目说明该适配器在 NVIDIA H20 上以 BF16 测试过带参考与不带参考的非流式语音 API 生成，测试时关闭了 Torch 编译与 CUDA graphs；这些检查只验证运行时兼容性，吞吐与流式能力未做基准测试。

许可与限制

许可证为 apache-2.0。

使用边界方面，项目自述的已知限制包括：各语言合成质量并不一致，需参考其分语言评测；零样本克隆依赖干净的参考录音，且转写文本必须与录音逐字一致；推荐环境为 Python 3.10 以上加 CUDA GPU，模型卡中的运行检查在 NVIDIA H20 上以 BF16 完成，未列出其他硬件配置。模型卡同时说明，其评测指标衡量的是可懂度与说话人相似度，并不直接衡量主观听感上的真实感。此外，模型依赖自定义 Transformers 代码，加载前应先审阅仓库中的相关文件。