Xiaomi-CocktailASR-1 - 小米开源的说话人语音识别模型

Xiaomi-CocktailASR-1是什么

Xiaomi-CocktailASR-1是小米开源的目标说话人语音识别大模型，基于LLM端到端架构，用参考语音作为声纹提示，无需语音分离可从多人混合语音中精准转录目标说话人。模型在多说话人基准上达SOTA水平，同时兼容单说话人场景，具备负样本拒识与思维链可解释推理能力，采用Apache 2.0协议开源。

Xiaomi-CocktailASR-1的主要功能

• 目标说话人语音识别：给定参考语音与多人混合音频，直接转录目标说话人的内容，无需语音分离。
• 单说话人兼容：同一模型即可处理单人场景，性能媲美主流单说话人 ASR，无需切换模型。
• 负样本拒识：目标说话人不在音频中时输出空文本，有效降低误触发。
• 思维链推理：CoT 模式输出说话人数、性别、声纹相似度等推理过程，兼顾可解释性与识别精度。

Xiaomi-CocktailASR-1的技术原理

• 端到端统一架构：模型由三部分组成：基于 Data2Vec2 改进的 0.6B 音频编码器、轻量级线性 Adapter，及 Qwen3-8B 大语言模型骨干。输入按「参考语音 + 1 秒静音 + 混合语音」的顺序拼接，编码器输出帧级特征后，经 Adapter 对齐到 LLM 隐空间，与文本 Prompt 共同送入 LLM 生成目标说话人的转录。
• 参考语音作为条件提示：编码器用 Data2Vec2 自监督掩码预测机制，在单一网络内融合语义与说话人信息，无需独立声纹编码器；参考语音被视作条件 Prompt，使编码器在特征提取阶段即自适应聚焦目标说话人、抑制干扰语音，从源头避免传统「分离+识别」级联系统的误差累积。
• 多能力平衡的多阶段训练：通过约百万小时数据配比训练统一四种能力：约 40 万小时多说话人数据训练目标提取，约 60 万小时同说话人参考-目标对防止单场景过度抑制，约 1 万小时错配参考的负样本内化拒识能力且推理无需阈值，另有 CoT 数据教会模型先输出推理链再给出答案。
• 双模式 Prompt 与拒识机制：标准模式用统一 Prompt 同时覆盖单人识别、多人目标识别与负样本拒识三类任务，目标缺失时模型自然输出空文本；CoT 模式则以独立 Prompt 触发 <think> 推理标签，输出说话人数量、性别与声纹相似度等中间步骤后再给出 <answer> 最终转录，提升可解释性并小幅降低 WER。

如何使用Xiaomi-CocktailASR-1

• 安装依赖：执行 pip install torch torchaudio transformers soundfile 安装所需环境。
• 下载模型：从 HuggingFace（Ease3/Xiaomi-CocktailASR-1）下载模型权重文件。
• 加载模型：通过 AutoModel.from_pretrained("Ease3/Xiaomi-CocktailASR-1", trust_remote_code=True, torch_dtype="bfloat16").cuda().eval() 加载模型。
• 准备音频：准备一段 16k 单声道参考语音（目标说话人声纹）和一段待识别的单人/多人音频（非 16k 会自动重采样）。
• 单条推理：调用 model("target.wav", "ref_speaker.wav") 即可返回目标说话人的转录文本（负样本时自动输出空文本，无需额外参数）。
• 思维链推理：追加 cot=True 参数，模型会在 <think> 中输出推理过程、在 <answer> 中输出最终结果。
• 批量推理：将数据整理为 5 列 TSV（utt_id, wav, text, ref_wav, ref_id），运行 tools/test_batch_scp.py 并指定模型路径、输入 TSV 和输出文件即可批量转录。

Xiaomi-CocktailASR-1的核心优势

• 多说话人 SOTA 性能：在 AliMeeting、AMI、LibriMix 等多个主流多说话人基准上达到最优识别水平（如 AliMeeting Far WER 20.63%，此前 SOTA 为 27.5%）。
• 单多人场景统一：同一模型在单说话人场景下性能媲美主流 ASR，无需按说话人数切换模型。
• 负样本拒识能力：目标说话人缺席时输出空文本，拒识率达 68%-80%，而 Qwen3-ASR、StepAudio 等模型拒识率为 0。
• 思维链可解释推理：CoT 模式输出说话人数、性别、声纹相似度等推理过程，既提升可解释性又能小幅降低 WER。
• 端到端简洁架构：参考语音直接作为声纹 Prompt，免去传统语音分离模块，避免级联系统的误差累积。
• 使用门槛低：一行代码调用、支持自动重采样与批量推理、提供正负样本 Demo，开箱即用。

Xiaomi-CocktailASR-1的项目地址

• GitHub仓库：https://github.com/xiaomi-research/xiaomi-cocktailasr-1
• HuggingFace模型库：https://huggingface.co/Ease3/Xiaomi-CocktailASR-1
• arXiv技术论文：https://arxiv.org/pdf/2609.11274

Xiaomi-CocktailASR-1的同类竞品对比

Xiaomi-CocktailASR-1的应用场景