Haru - 低延迟多语言全双工语音对话基础模型

Haru 是一个 audio-to-audio 任务的全双工连续语音对话基础模型，托管在 Hugging Face 上，由 higurashi-ai 维护。它要解决的问题是传统语音助手「先听完、再思考、再开口」的轮次式交互：据项目说明，Haru 每 133 毫秒接收一帧用户音频，同时输出一帧自己的音频与文本，听和说不必互相等待，接近人们在电话里对话的方式。它被定位为一个预训练基础模型，面向研究发布，适合想研究或搭建低延迟语音对话系统的人，而不是把它当作可靠的事实问答助手。

维护者与状态

该项目由 higurashi-ai 维护，仓库创建于 2026-11-12，最后更新于 2026-11-13。截至 2026-11-15 的数据读取时间，近 30 天下载量为 1262 次，点赞数为 234。事实表中没有给出正式 release 信息，因此这里不对版本发布情况作额外推断；如需确认最新版本状态，应以仓库页面为准。

主要能力

以下能力均来自项目自述，尚未经过独立验证：

• 原生全双工、7.5 Hz 帧率。据项目说明，模型每 133 毫秒取一帧用户音频，并产出一帧自身音频与文本；用户音频、模型音频与模型文本被汇入语言模型的同一个位置，因此听与说不会互相阻塞。
• 连续音频、单步采样。README 中称，音频以每帧 64 维潜变量表示，由一个带 MeanFlow 采样的小型 MLP 头从语言模型隐状态一步生成，不需要独立的音频 Transformer，也没有离散音频 token。
• 角色与音色控制。项目说明可以用一张文本角色卡设定角色，用一段短参考音频设定音色。
• 多语言。据项目自述，支持英语、西班牙语、葡萄牙语、德语、法语、中文、日语、俄语和韩语。
• 架构组成。素材给出的架构表显示：语言模型为 Qwen3.5-4B 文本骨干，32 层，隐藏维度 2560；音频编解码器为 VibeVoice 声学 tokenizer，因果结构，24 kHz，每个潜变量对应 3200 个采样点；音频头为 4 层 MLP，MeanFlow，1 步采样，guidance scale 可在 1 到 2 之间调整，默认 1.5。

使用入口

模型仓库地址为 higurashi-ai/Haru-4B，权重文件、配置与分词器均在该仓库中。据项目说明，配套代码提供 PyTorch 实现与网页演示、带原生 macOS 应用的 MLX 实现，以及用于 vLLM-Omni 服务的插件。

在有 NVIDIA GPU（约 12 GB 显存）的环境下，README 给出的启动方式如下：

git clone https://github.com/higurashi-ai/Haru && cd Haru
pip install -e ./haru
python -m haru.server --hf-repo higurashi-ai/Haru-4B

启动后打开网页界面，选择角色、为模型提供一段音色，即可开始对话。项目建议使用有线耳机与有线麦克风以降低延迟，并称蓝牙设备会额外增加 100 毫秒以上的延迟。

音色需要自备：Haru 本身不附带音色片段，用户需上传或录制一段单人、3 秒到 3 分钟、语音干净的参考音频。项目同时提醒，只能使用自己有权使用的声音。README 还给出了 Python 调用示例，通过 HaruModel.from_pretrained 加载模型，用 prepare_reference 准备参考音色，再以 DuplexSession 逐步推进对话，每步输入与输出各为 24 kHz 下的 3200 个采样点。系统提示词是一张固定版式的角色卡，具体构建方式见仓库 README。

许可与限制

许可证为 apache-2.0，权重以 Apache License 2.0 发布。

项目自述中明确写出的限制包括：Haru-4B 是预训练基础模型，面向研究发布；它能进行自然对话，但不是可靠的事实来源，也不会像助手那样遵循指令。它可以模仿参考片段的音色，因此使用者只能使用自己有权使用的声音。此外，运行需要 NVIDIA GPU 与约 12 GB 显存，低延迟体验依赖有线音频设备。以上均为项目说明中的内容，实际表现需使用者自行评估。