AB
AiBoss
ニュース

Liquid AI 发布 LiquidCodec:约 7400 万参数流式音频编解码器

Liquid AI 发布 LiquidCodec,这是支撑其 LFM3-Audio-2B 与 LFM3-Omni-2B 模型的流式语音编解码器,约 7400 万参数,权重已上传 Hugging Face。官方称其在单 CPU 线程上编码速度约为实时的 361 倍,并在 8 个测试集上取得最佳 ViSQOL 与最低 mel 距离。

核心事实

Liquid AI 发布了 LiquidCodec,即其 LFM3-Audio-2B 与 LFM3-Omni-2B 模型所使用的音频编解码器。据 MarkTechPost 报道,这是一个约 7400 万参数的流式语音 tokenizer(模型卡标注 73.6M),负责把语音转成语言模型可预测的 token,再把 token 还原为音频。其权重已发布在 Hugging Face 上。

规格方面:24 kHz 音频、12.5 Hz 帧率、12 个码本,每 80 ms 一帧对应 12 个离散 token。量化采用分组有限标量量化(GFSQ)而非残差向量量化(RVQ),使 12 个码本可被 MaskGIT 式 Transformer 并行预测;解码器直接预测频谱系数,跳过常见的转置卷积上采样。

背景与影响

LiquidCodec 取代了 Liquid AI 在 LFM2-Audio-1.5B 中使用的 Kyutai Mimi(96.2M 参数)。训练分两阶段:第一阶段使用 107 种语言、26.4 万小时语音,不含对抗损失;第二阶段在 5.5 万小时全频带语音上以对抗判别器微调,官方称此举消除了第一阶段的金属感伪影,最后还有一步面向边缘推理的量化感知训练(QAT)。

据官方自测,在 Apple M4 Max 单 CPU 线程 FP32 下,编码约为实时的 361 倍、解码约 87 倍;在 8 个测试集上 ViSQOL 与 mel 距离均优于 X-Codec 2、NanoCodec 和 Mimi。不过 NanoCodec 在 8 个测试集中的 7 个上 PESQ(WB)更高,LibriSpeech 说话人相似度也更优。部署上支持 Hugging Face Transformers(trust_remote_code=True)、CUDA,以及面向 llama.cpp 的 Q4_0、Q4_K_M、Q8_0 GGUF 构建。

限制与来源

上述速度与质量数据均为 Liquid AI 自行测量,尚未见独立复现;比特率未披露,Hugging Face 上许可证标注为“other”,实际使用条款需以官方页面为准。本文信息来自 MarkTechPost 报道及文中引述的模型卡与博客,具体功能、可用性与许可请以官网当前信息为准。