OmniVoice - 小米团队开源的多语言TTS模型

OmniVoice是什么

OmniVoice是小米 AI 实验室新一代 Kaldi 团队开源的超大规模多语言TTS模型，支持600+语种零样本语音克隆。模型采用极简非自回归扩散架构，结合全码本随机Mask与LLM初始化技术，实现40倍实时推理速度。OmniVoice支持音色设计、音频去噪、副语言控制（如笑声）及发音纠正，在音质与语言覆盖度上达到SOTA水平，特别对低资源语言展现强泛化能力。

OmniVoice的主要功能

• 超大规模多语言合成：支持 600+ 语种的零样本 TTS，覆盖从高频到低资源小语种，基于 58 万小时开源数据训练。
• 零样本语音克隆：仅需 3-10 秒参考音频即可克隆任意说话人音色，支持自动转录（内置 Whisper）或手动提供文本。
• 属性化音色设计：无需参考音频，通过自然语言描述（性别、年龄、音调、方言/口音、耳语风格等）直接生成定制声音。
• 参考音频去噪：可处理带噪声或混响的参考音频，提取纯净说话人特征，避免合成语音携带环境杂音。
• 副语言控制：插入 [laughter]、[sigh] 等标签添加笑声、叹气等情感
• 发音纠正：用拼音（如 ZHE2）或 CMU 音素（如 [B EY1 S]）纠正多音字和专有名词发音

如何使用OmniVoice

• 安装部署：用户可通过 pip 命令或从 GitHub 克隆源码，执行安装命令完成 OmniVoice 的部署。
• 快速体验：用户无需编写代码可通过启动本地 Web 服务或访问 HuggingFace 在线 Demo 来快速体验 OmniVoice 的语音合成效果。
• 语音克隆：开发者可用 Python API 加载预训练模型，通过提供参考音频和转写文本实现零样本语音克隆功能。
• 音色设计：用户可通过自然语言描述说话人的性别、年龄、音调、口音等属性来直接设计生成特定的音色。
• 命令行工具：系统支持通过命令行工具进行单条语音合成或跨多 GPU 的批量推理任务处理。
• 细粒度控制：用户可在合成文本中插入特定标签来添加笑声、叹气等副语言表达，或使用拼音和音素符号纠正多音字及专有名词的发音。

OmniVoice的关键信息和使用要求

• 技术定位：OmniVoice 是小米 AI 实验室开源的基于扩散语言模型的非自回归 TTS 系统，采用极简双向 Transformer 架构直接映射文本至多码本声学 token，摒弃传统级联 pipeline，支持 600+ 语种的零样本语音克隆与合成。
• 核心参数：模型拥有 0.8B 参数并基于 Qwen3-0.6B 初始化，基于 58.1 万小时开源语音数据训练覆盖 646 个语种，推理速度达 RTF 0.025（40 倍实时），在中英文及多语言基准测试中的说话人相似度与可懂度指标均达到 SOTA 水平。
• 功能边界：支持 3-10 秒参考音频的零样本语音克隆（含带噪/混响音频去噪）、基于性别/年龄/音调/方言/口音等属性的音色设计、以及通过标签和拼音/音素实现的副语言控制与发音纠正。
• 硬件环境：需要支持 CUDA 的 NVIDIA GPU（推荐 H800/H20 以发挥最佳性能）或支持 MPS 的 Apple Silicon 设备来运行模型推理。
• 软件依赖：需在 Python 虚拟环境中安装 PyTorch（匹配 CUDA 版本）并通过 pip 或源码安装 omnivoice 包满足运行依赖。

OmniVoice的核心优势

• 架构极简高效：采用单阶段非自回归扩散语言模型架构，用一个双向 Transformer 直接映射文本至多码本声学 token，消除传统级联 pipeline 的误差传播与信息瓶颈，实现架构简洁性与性能的双重突破。
• 语言覆盖最广：基于 58.1 万小时开源数据训练，支持 600+ 语种的零样本语音合成，在低资源小语种上仍保持极低字错误率，是目前语言覆盖范围最广的 TTS 模型。
• 推理速度极快：通过全码本随机 masking 策略与高效架构设计，实现 RTF 低至 0.025 的推理速度，即 40 倍快于实时，显著优于自回归模型。
• 音质与可懂度 SOTA：借助 LLM 初始化继承预训练语言知识，在 LibriSpeech-PC、Seed-TTS 等基准测试中，说话人相似度（SIM-o）与可懂度（WER）均超越现有非自回归模型及商用系统。
• 多维可控能力：支持零样本语音克隆、基于属性的音色设计、带噪音频去噪、副语言符号（笑声/叹气）插入及拼音/音素级发音纠正，满足复杂场景下的细粒度控制需求。

OmniVoice的项目地址

• GitHub仓库：https://github.com/k2-fsa/OmniVoice
• HuggingFace模型库：https://huggingface.co/k2-fsa/OmniVoice
• arXiv技术论文：https://arxiv.org/pdf/2604.00688
• 在线体验Demo：https://huggingface.co/spaces/k2-fsa/OmniVoice

OmniVoice的同类竞品对比

OmniVoice的应用场景

• 多语言内容本地化：创作者可用 OmniVoice 的 600+ 语种支持能力，将播客、有声书、教育课程等内容快速转换为不同语言版本，同时通过零样本克隆保持原始说话人音色的一致性。
• 游戏与影视配音：游戏厂商和制片方可通过参考音频克隆或属性化音色设计，为角色生成多样化语音。
• 智能客服与助手：企业可部署 OmniVoice 构建支持多语言的智能客服系统，用零样本克隆复制特定品牌代言人声音，或通过音色设计生成符合品牌形象的专属语音助手。
• 教育与语言学习：教育机构可开发稀有语言学习材料，通过拼音/音素级发音纠正功能帮助学习者掌握中文多音字或英文专有名词的准确读音。