AB
AiBoss
project

Liquid-Codec - 面向流式语音的紧凑音频编解码器

Liquid-Codec 是 LiquidAI 发布的紧凑流式语音编解码器,把语音压缩成离散 token 再还原为音频,是 LFM3-Audio-2B 与 LFM3-Omni-2B 背后的音频分词器。据项目说明,它采用分组有限标量量化,码本之间没有顺序依赖,便于语音模型并行预测。

Liquid-Codec 是 LiquidAI 发布的一个紧凑、支持流式的语音编解码器(audio codec)。它的工作方式是把语音压缩成离散 token,再把这些 token 还原成音频波形。据项目说明,它同时是 LFM3-Audio-2B 与 LFM3-Omni-2B 背后的音频分词器。适合谁:需要在语音大模型或语音生成系统中替换音频 tokenizer 的研究者与工程师,以及希望在端侧或低延迟场景中做流式编解码的开发者。仓库任务类型标注为 feature-extraction,框架为 transformers。

维护者与状态

该项目由 LiquidAI 维护,托管在 Hugging Face 上。仓库创建于 2026-09-16,最后更新于 2026-11-12。截至 2026-11-16,近 30 天下载量为 9358,点赞数为 100。事实表中未列出正式 release 信息,因此这里不对版本发布情况作额外推断。

主要能力

以下内容均来自项目自述(模型卡),未经本站独立验证。

  • 易预测的码本结构:项目称其分组有限标量量化(GFSQ)产生的码本之间没有顺序依赖,因此语音模型可以并行预测一帧内的所有码本。
  • 速度快:据项目说明,在 Apple M4 Max 单 CPU 线程、FP32 精度下,编码约为实时的 361 倍,解码约为实时的 87 倍。
  • 高保真:项目自述在八个重建测试集上取得所比较编解码器中最好的 ViSQOL 与最低的 mel 距离。
  • 有利于语音生成:据项目说明,在匹配条件的 TTS 实验中,用 LiquidCodec token 训练的模型在八个测试集上均取得最高的自然度(UTMOSv2)。
  • 面向端侧:项目称仅解码器的量化感知训练让解码器可以 Q4_0 运行,占用缩小 3.5 倍且质量损失很小。

模型规格方面,项目自述参数量约 74M,采用对称、完全因果的 LFM3 编码器与解码器,输入输出为 24 kHz 单声道语音,帧率 12.5 Hz,每帧 12 个 token(每个码本一个),码率约 1.65 kbps,支持流式编码与解码,训练数据为 107 种语言、26.4 万小时。

使用入口

模型仓库地址:LiquidAI/Liquid-Codec。仓库中包含 BF16 编解码器权重,以及编解码器配置与模型实现。

据项目说明,可以通过远程代码加载方式配合 AutoModel 使用:

import torch
from transformers import AutoModel

codec = AutoModel.from_pretrained(
    "LiquidAI/Liquid-Codec",
    trust_remote_code=True,
    dtype=torch.bfloat16,
    device_map="cuda",
)
waveform = torch.randn(1, 24_000 * 3, device="cuda")  # 24 kHz
codes = codec.encode(waveform).audio_codes
reconstructed = codec.decode(codes).audio_values

项目还提供了原生加载与流式合成方式,使用 LiquidCodecModel 与 LiquidCodecStreamingCache,逐块解码并返回此后不再被修改的采样点。量化版解码器(Q4_0 / Q4_K_M / Q8_0)不单独发布,据项目说明随 LFM3-Audio-2B-GGUF 与 LFM3-Omni-2B-GGUF 一起提供,用于 llama.cpp 的端侧推理。

许可与限制

事实表标注的许可证为 other,即自定义许可,具体条款以仓库 LICENSE 为准,本文不对其可否商用等作出结论。项目自述中提到的许可名称为 LFM Open License v1.0,可作为参考,但仍应以仓库中的许可文件为最终依据。

适用边界方面,项目明确说明 LiquidCodec 是在语音上训练和评估的,对音乐、歌唱或环境声的质量尚未评估。因此把它用于非语音音频前需要自行验证。此外,模型卡中的速度数据是在 Apple M4 Max 单线程 CPU、FP32 条件下测得,其他硬件与精度下的表现未在素材中给出。量化解码器需要配合对应的 GGUF 模型仓库使用,并非独立发布的权重。