Hy-SimulMT - 腾讯混元开源的同声传译大模型

Hy-SimulMT是什么

Hy-SimulMT是腾讯混元开源的同声传译大模型，支持中英语音到语音实时互译，可边听边译并实时克隆说话人音色。Hy-SimulMT实测响应时延约 3 秒，优于人类译员 4–5 秒的水平；在 RealSI 评测集上延迟最低且翻译质量达开源最佳，超过多数商用 API，并在多领域实测中质量超过人类同传专家。

Hy-SimulMT的主要功能

• 实时语音同传：说话人的音频可连续流入模型，模型边听边译，边说边输出译文，实现中英双向语音到语音的实时互译。
• 实时音色克隆：翻译输出可保留说话人本人的音色和语气，多人对话场景下能区分并还原不同说话人的声音。
• 文本+语音双输出：模型能输出翻译文本（Interleave 版本还可同时输出源语文本），可通过配套 TTS 服务输出翻译语音。
• 低时延响应：实测同传延迟约 3 秒，快于人类专业译员 4.5–4.7 秒的水平。

Hy-SimulMT的技术原理

• 流式同传解码：增量理解与”先开口、后修补”， 同传的核心矛盾是”等信息多一点译得准”与”早点开口听感好”之间的权衡。Hy-SimulMT 不等待说话人把话讲完，是在连续音频流上边接收边做增量理解，只积累少量语音信息就开始生成译文；后续信息到来后若发现先前输出不完整或有误，会像人类译员自我修正一样对译语进行修补。
• 大规模稀疏 MoE 翻译主干：开源模型为 Hy-SimulMT-30B-A3B，即总参数 30B、每次激活约 3B 参数的混合专家（MoE）架构，基于混元 HYV3ForCausalLM 模型族，以 vLLM 作为主流推理后端。稀疏激活的设计让它在保持大模型翻译质量的同时，推理成本接近小模型，适合实时同传这种对速度敏感的在线场景。
• 音色克隆由独立的 TTS 组件完成：模型本体负责流式语音识别+同传翻译并输出文本（分纯译文和源文+译文两种输出模式），语音合成与输入音色克隆由可配置的 TTS 服务承担。这种模块化设计让翻译质量与音色自然度可以分别优化，方便接入第三方 TTS；代价是级联链路中 ASR 识别错误可能向下游传导，需要通过翻译模型的鲁棒性来消化。

微信关注回复“开源”，加入AI开源项目交流群

如何使用Hy-SimulMT

• 克隆仓库：执行 git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git 并进入项目目录。
• 一键部署推理服务：进入 SimulInfer/ 目录，运行 bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave。
• 配置 TTS（可选）：如需语音输出和音色克隆，在 config.toml 中配置 TTS 服务连接；纯文本翻译无需此步。
• 开始使用：等待终端显示 Ready: http://127.0.0.1:8080/，在浏览器打开该地址，选择翻译方向后上传音频文件或开启麦克风说话，点击「Stop and finish」结束。
• 命令行调用：可用 curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav 上传文件，或用仓库自带的 simulinfer-client 客户端获取翻译结果。

Hy-SimulMT的核心优势

• 低时延领先：实测 StreamLAAL 约 3 秒，比人类专业译员更快，是对比系统中延迟最低的开源同传模型。
• 质量与速度兼得：在 RealSI 长音频评测中做到”延迟最低 + 质量最高”，GEMBA 分数超过全部对比开源模型和 5 个商用 API 中的 4 个。
• 达到人类专家水平：在与 6 位 CATTI 一级/二级持证同传专家的盲测对比中，翻译质量得分更高、响应速度更快。
• 实时音色克隆：翻译语音可高度还原说话人的音色与语气，多人场景能区分不同说话人，沟通更自然。

Hy-SimulMT的项目地址

• GitHub仓库：https://github.com/Tencent-Hunyuan/Hy-SimulMT
• HuggingFace模型库：https://huggingface.co/collections/tencent/hy-simulmt

Hy-SimulMT的同类竞品对比

Hy-SimulMT的应用场景

• 国际会议与论坛：大型国际活动指定其为志愿者和基层服务人员的官方 AI 翻译应用，用于外宾接待与现场沟通。
• 跨语言商务谈判与会议：企业跨国会议中实现中英实时互译，参会各方用自己的母语发言和聆听，降低沟通成本。
• 演讲与培训的同声传译：学术讲座、企业内训、公开课等单人长时间发言场景，模型可稳定跟译且译语自然，适合作为”辅助理解”工具。
• 多说话人访谈与媒体内容：采访、播客、纪录片等多人对话场景下，同传同时克隆每位说话人的音色，听者能分清谁在说话。
• 涉外文旅与日常服务：机场、酒店、展会、餐厅等涉外服务窗口的低风险沟通场景，帮助服务人员与外国游客完成基本可用的面对面交流。