NVIDIA-NemotronLabs-RE-USE - 960 万参数的多语言通用语音增强模型

NVIDIA-NemotronLabs-RE-USE 是 NVIDIA 发布在 Hugging Face 上的一个通用语音增强（Universal Speech Enhancement，USE）模型，任务类型为 audio-to-audio。按项目自述，它的目标是在保留语音保真度的前提下，修复真实环境中常见的多种语音退化，包括加性噪声、混响、削波、带宽受限、编解码器失真、丢包以及低质量麦克风采集。它适合两类人：一类是需要批量清洗录音的内容创作者，另一类是希望把语音数据集处理干净、再用于训练 TTS 或语音大模型的研究者。

维护者与状态

该仓库由 nvidia 维护，创建于 2026-07-22，最后更新于 2026-10-22。截至 2026-11-02，近 30 天下载量为 29275，点赞数为 114。事实表中没有给出独立的 release 记录，模型卡中标注的版本号为 NVIDIA-NemotronLabs-RE-USE_v1，项目自述的发布日期为 2026 年 10 月 22 日。项目说明中明确写道，当前不接受外部贡献。

主要能力

以下内容来自项目自述（模型卡），属于维护者对自己模型的描述，不是第三方评测结论。

• 多退化鲁棒性：项目称模型对加性噪声、混响、削波、带宽限制、编解码伪影、丢包和低质量麦克风等退化均具备处理能力。
• 多采样率支持：输入与输出均为单声道 .wav，覆盖 8 kHz、16 kHz、22.05 kHz、24 kHz、32 kHz、44.1 kHz、48 kHz。
• 语言无关：模型卡称其具备较强的 language-agnostic 能力，可在不同语言上工作；训练数据包含德语、英语、西班牙语、法语以及中文（zh-CN）语料。
• 重叠语音处理策略：据项目说明，遇到重叠说话时，模型被训练为保留主要说话人、抑制其他说话人。
• 笑声保留变体：如果更希望保留笑声，项目建议改用 NVIDIA-NemotronLabs-RE-USE-laughter。
• 架构与规模：卷积编码器、卷积解码器加 Mamba 做时频建模，双向 Mamba 共 30 层，参数量 9.6M（9.6×10^6）。

模型卡还给出了一组在 URGENT 2025 non-blind 测试集上的对比表格，涉及 DNSMOS、NISQA、UTMOS、PESQ、STOI、SBERT、LPS、Spk、CAcc 等指标。这些数字由维护者自行提供，评测口径与复现条件需以模型卡原文为准，本文不转述具体数值。

使用入口

模型与说明文档位于 NVIDIA-NemotronLabs-RE-USE。

按项目说明，环境准备包括：Mamba 相关依赖可使用官方提供的预构建 Docker 环境；若需要带宽扩展（bandwidth extension），需额外安装 resampy。随后通过 huggingface-cli 把仓库拉取到本地目录并进入该目录：

huggingface-cli download nvidia/NVIDIA-NemotronLabs-RE-USE --local-dir ./NemotronLabs_REUSE --local-dir-use-symlinks False
cd ./NemotronLabs_REUSE

推理流程分两步：把待处理的含噪语音放进 noisy_audio/ 目录，然后执行 sh inference.sh，增强结果输出到 enhanced_audio/。带宽扩展可通过脚本中的 BWE 参数设定目标带宽。

对于时长较长（例如超过 30 秒，而训练数据以 10 秒以内片段为主）或触发 GPU 显存不足的音频，项目给出了分块流程：文件放入 long_noisy_audio/，执行 sh inference_chunk.sh，结果写入 Long_enhanced_audio/；chunk_size_in_seconds 与 hop_length_portion 可在脚本中配置。此外，项目还提供了一个 Gradio 交互式演示，可直接上传含噪音频或视频试用。

许可与限制

许可证为 openmdw-1.1，即 OpenMDW License Agreement 1.1 版，使用时请以仓库中的许可文本为准。项目自述称该模型已可用于商业用途，但这属于维护者表述，落地前仍应自行核对许可条款。

硬件与系统方面，模型卡写明其面向 NVIDIA GPU 加速系统设计与优化，支持的硬件微架构为 NVIDIA Ampere（推理部分列出 A100），支持的操作系统为 Linux，推理加速引擎为 Triton。也就是说，纯 CPU 环境并非其目标部署形态。

输入输出边界较窄：仅支持单声道 .wav，采样率范围 8 kHz 至 48 kHz。长音频需要走分块脚本，否则可能显存不足。重叠语音场景下模型会主动抑制非主要说话人，这与「完整保留现场所有人声」的需求相冲突。项目还提示，把基础模型或微调模型集成进实际 AI 系统时，需要用具体用例数据做额外测试，并按 V 模型方法在单元与系统层面迭代验证，以降低部署风险。