AB
AB
AiBoss站

全部分类

project

Qwen3-TTS-12Hz-1.7B-CustomVoice - 支持指令控制音色与情感的多语言语音合成模型

Qwen3-TTS-12Hz-1.7B-CustomVoice 是 Qwen 团队发布的多语言文本转语音模型，采用离散多码本 LM 架构与双轨混合流式生成，支持通过自然语言指令控制音色、情感与韵律，并提供 9 种预设音色。模型以 apache-2.0 许可开放，可通过 qwen-tts Python 包调用。

Qwen3-TTS-12Hz-1.7B-CustomVoice 是 Qwen 团队发布的一款文本转语音（text-to-speech）模型，托管在 Hugging Face 上。按照项目自述，它属于 Qwen3-TTS 系列中的「CustomVoice」分支：在给定文本之外，用户还可以通过自然语言指令对目标音色施加风格控制，模型内置 9 种预设音色，覆盖性别、年龄、语言与方言的不同组合。它面向的是需要多语言语音合成、并且希望对音色与情感做细粒度调节的开发者与产品团队，例如语音助手、有声内容生成、实时交互式语音等场景。

维护者与状态

该模型由 Qwen 维护，仓库创建于 2026-01-21，最后更新于 2026-01-29。截至 2026-10-14，近 30 天下载量为 2,226,867 次，点赞数为 2,118。事实表中未列出该仓库的正式 release 信息，因此这里不对版本发布节奏做任何推断。

从时间线看，仓库创建与最后更新之间相隔约一周，说明这是一个新近上线、仍在早期阶段的模型仓库。下载量与点赞数的量级也反映出它在发布后获得了较多关注。

主要能力

以下能力描述均来自项目自述（模型卡），并非第三方评测结论。

  • 多语言覆盖：据项目说明，Qwen3-TTS 覆盖 10 种主要语言，包括中文、英语、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语和意大利语，并提供多种方言音色配置。CustomVoice 分支同样支持这 10 种语言。
  • 指令驱动的语音控制：模型支持由自然语言指令驱动的语音生成，可对音色、情感、韵律等多维声学属性做灵活控制。项目自述称，模型通过深度整合文本语义理解，能够自适应调整语调、节奏与情感表达。
  • 预设音色：CustomVoice 提供 9 种预设音色，覆盖性别、年龄、语言与方言的不同组合。模型卡建议使用每种音色的母语以获得最佳质量，同时也说明每种音色都可以说出模型支持的任何语言。
  • 流式与非流式统一：据项目说明，模型基于「双轨混合流式生成架构」，单一模型同时支持流式与非流式生成。项目自述称，输入单个字符后即可立即输出首个音频包，端到端合成延迟低至 97ms，以满足实时交互场景的需求。
  • 语音表示与端到端架构：模型由自研的 Qwen3-TTS-Tokenizer-12Hz 提供支持，项目自述称其实现了高效的声学压缩与高维语义建模，保留副语言信息与声学环境特征，并通过轻量非 DiT 架构实现高速、高保真语音重建。整体采用离散多码本 LM 架构，项目自述称这绕开了传统 LM+DiT 方案的信息瓶颈与级联误差。
  • 对噪声文本的鲁棒性：项目自述称，模型对含噪输入文本的鲁棒性有明显提升。

使用入口

模型仓库地址为 Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice。

据项目说明，最便捷的使用方式是从 PyPI 安装 qwen-tts Python 包，它会拉入所需的运行时依赖。项目建议使用全新的隔离环境，例如创建一个干净的 Python 3.12 环境：

conda create -n qwen3-tts python=3.12 -y
conda activate qwen3-tts
pip install -U qwen-tts

如果需要在本地开发或修改代码，项目说明可以从源码以可编辑模式安装：

git clone https://github.com/QwenLM/Qwen3-TTS.git
cd Qwen3-TTS
pip install -e .

安装完成后，可以导入 Qwen3TTSModel 来运行自定义音色 TTS。模型权重既可以指定为 Hugging Face 模型 id，也可以指定为本地目录路径。对于 CustomVoice 模型，调用 generate_custom_voice，传入单个字符串或批量列表，以及 language、speaker 和可选的 instruct 参数即可。项目说明还提到，可以通过 model.get_supported_speakers() 与 model.get_supported_languages() 查询当前模型支持的音色与语言。

此外，项目说明称在 qwen-tts 包或 vLLM 中加载模型时，权重会根据模型名自动下载；如果运行环境不适合在执行时下载权重，也可以手动将权重下载到本地目录。

许可与限制

该模型采用 apache-2.0 许可证。

关于硬件与运行条件，项目自述中给出了若干前置要求：推荐使用 FlashAttention 2 以降低 GPU 显存占用，安装命令为 pip install -U flash-attn --no-build-isolation；如果机器内存低于 96GB 且 CPU 核心较多，项目建议改用 MAX_JOBS=4 pip install -U flash-attn --no-build-isolation。同时，硬件需要与 FlashAttention 2 兼容，且 FlashAttention 2 只能在模型以 torch.float16 或 torch.bfloat16 加载时使用。

在语言与音色方面，项目说明指出 CustomVoice 支持 10 种语言，并建议使用每种音色的母语以获得最佳质量；虽然每种音色都能说出模型支持的任何语言，但跨语言使用的效果并未在素材中给出具体说明。此外，模型卡中提到的技术报告里的其他模型，据项目说明将在不久后发布，本仓库对应的只是其中已发布的一个版本。

返回