NVIDIA-Nemotron-3.5-Transcribe - 支持 40 种语言的离线语音转写开源权重模型

NVIDIA-Nemotron-3.5-Transcribe 是 NVIDIA 发布在 Hugging Face 上的一个开源权重语音与音频模型，任务类型为自动语音识别（automatic-speech-recognition），框架标注为 NeMo。按项目自述，它属于「语音增强语言模型」（Speech-Augmented Language Model），把录音连同文本指令和可选上下文一起处理，输出文本结果，覆盖多语言转写、语音翻译、带上下文的转写、说话人归属转写、富文本转写、时间戳预测、语种识别和音频问答等任务。它面向的是需要自行部署、希望获得较高准确率并可能做微调的用户，而不是只想调用一个在线接口的轻量场景。

维护者与状态

该模型由 nvidia 维护，仓库位于 Hugging Face。仓库创建时间为 2026-10-07，最后更新时间为 2026-10-29。截至 2026-10-30 的数据读取时间，近 30 天下载量为 4276，点赞数为 415。事实表中未给出正式 release 信息，因此这里不对版本节奏做额外推断；模型卡中提到的精度变体（BF16、FP8、NVFP4）属于项目自述内容，具体可用的权重文件请以仓库页面为准。

主要能力

以下能力均来自项目自述（模型卡），未经本站独立验证：

• 多语言转写：据项目说明支持 40 种语言，具体语种覆盖需查阅模型卡中的语言支持矩阵。
• 长音频处理：上下文长度为 65,536 token，可处理最长一小时的录音。
• 转写风格可控：通过用户消息中的指令，可以在逐字转写（保留语气词与重复）与可读文本（省略语气词）之间切换，并可要求标点与大小写。
• 上下文词表：可在提示中给出领域术语，用于财报电话会、客服录音、技术讨论等场景的专有名词识别。
• 说话人归属与时间戳：项目说明称可输出说话人标签，并可在请求中启用词级时间戳，适用于会议回顾与剪辑流程。
• 语音翻译与语种识别：可将给定语音翻译为目标语言，并执行语言识别任务。
• 音频问答：可针对录音内容提出具体问题，并开启推理模式作答。
• 推理模式可配置：通过聊天模板的 enable_thinking=True/False 开关控制；项目建议转写、翻译和语种识别使用 temperature 0 并关闭推理，音频理解使用 temperature 0.6、top_p 0.95 并开启推理。

架构方面，模型卡描述其为 Mamba-2 与 Transformer 混合的专家混合（MoE）语言模型，配有并行专家编码器（Transformer ASR 编码器与说话人编码器），总参数量 34B、激活约 4.3B（含音频编码器）。这些数字均为项目自述。

使用入口

模型仓库地址：NVIDIA-Nemotron-3.5-Transcribe-30B-A4B。

据项目说明，有两种主要调用方式。其一是用 vLLM 起服务：模型卡给出的示例在单张 H100 80 GB 上以 vLLM 0.32.0 加 NeMo Speech 主分支加载检查点，需要设置若干环境变量（如 VLLM_PLUGINS=nemo_speechlm、音频解码时长与文件大小上限），并在启动参数中指定 --trust-remote-code、--max-model-len 65536、Mamba 后端与投机解码配置等；若要词级时间戳，还需关闭 V2 model runner。服务起来后，可用 OpenAI 兼容客户端向本地端点发送包含 base64 音频的 chat completions 请求，并在 extra_body 中传入 chat_template_kwargs 控制是否开启推理。

其二是用 Hugging Face Transformers 在进程内运行：从源码安装 Transformers 后，通过 AutoProcessor 与 AutoModelForMultimodalLM 加载模型，调用 apply_transcription_request 构造输入并生成结果。模型卡同时说明，随 NeMo Speech 发布的 vLLM 集成主要用于模型开发，速度预计比其 NIM 优化实现慢约两倍；而 NIM 中的服务优化尚未进入开源发布，项目表示后续会尝试向上游提交。

许可与限制

事实表中许可证字段为 other，即自定义许可，具体条款以仓库 LICENSE 为准，本文不对其商用范围下结论。模型卡自述采用 OpenMDW-1.1，并称该模型可用于商业或非商业用途，这属于维护者表述，使用前仍应自行核对许可原文。

已知边界方面，项目明确强调这是一个离线模型：内部的音频分块处理并不使它成为实时流式 ASR 服务。部署上，模型卡给出的参考配置是单张 H100 80 GB，硬件兼容性需查阅其硬件兼容表。语言与任务支持并非全部组合都可用，需对照语言支持矩阵。此外，模型卡提到训练混合数据中包含少量文本指令跟随与 PII 标记/脱敏任务，但并未说明这些能力可直接作为生产级脱敏方案使用。对于需要低延迟流式识别、或无法提供大显存 GPU 的场景，这个模型可能并不合适。