LFM3-Omni - Liquid AI 首个端到端全模态模型，输入文本图像视频音频、输出文本与语音

LFM3-Omni-2B 是 LiquidAI 在 LFM3 系列中发布的全模态（omni-modal）模型。据项目说明，它是一个端到端模型：输入侧可接受文本、图像、视频与音频，输出侧可给出文本、语音，或文本与语音交错的内容。它的定位是端侧部署——用一个模型替代原本需要分别部署的 ASR 模型、视觉语言模型、LLM 和 TTS 模型。适合需要在手机、笔记本或其他边缘硬件上同时处理多种模态输入、并希望直接得到语音回复的开发者与产品团队。

维护者与状态

• 维护者：LiquidAI
• 仓库：托管于 Hugging Face，模型 ID 为 LiquidAI/LFM3-Omni-2B
• 创建时间：2026-10-21
• 最后更新：2026-11-03
• 任务类型：any-to-any；框架：transformers
• 热度：截至 2026-11-07，近 30 天下载量 15319，点赞 392
• 许可证：other（自定义许可，以仓库 LICENSE 为准）

需要说明的是，事实表中没有给出该仓库的正式 release 版本号，因此这里不列具体版本；仓库的更新状态以上述创建与最后更新时间为准。

主要能力

以下内容来自项目自述（模型卡），属于维护者对自身能力的描述，未经本站独立验证。

• 任意输入，文本或语音输出：据项目说明，可以用语音询问一张照片的内容、做语音转写或翻译、直接语音聊天，也可以就一段视频及其音轨一起提问。
• 同时「看」和「听」：对于带声音的视频，模型会同时处理画面与音频，因此能回答需要两者结合的问题。
• 体积适合设备端：模型卡称总参数量为 2.17B（约 2.2B），设计目标是能在手机、笔记本等边缘硬件上高效运行。
• 架构组成：据模型卡，包含 LFM3 主干、LFM3 视觉编码器、LFM3 因果音频编码器，以及 LiquidCodec 音频分词器。
• 输入规格：文本、图像、带或不带音轨的视频，以及 16 kHz 音频；图像与视频按原生分辨率处理，每 2×2 个 patch 块转换为一个语言 token；视频默认按 2 fps 采样，帧数范围 4 到 384。
• 输出规格：文本、24 kHz 语音，或文本与语音交错。
• 上下文与词表：上下文长度 32K token（输入加输出），文本词表 128,000。
• 语言覆盖：文本支持英语、阿拉伯语、中文、法语、德语、意大利语、日语、韩语、葡萄牙语、西班牙语、越南语、泰语、印尼语、印地语、俄语、波兰语；语音支持阿拉伯语、丹麦语、德语、希腊语、英式英语、美式英语、芬兰语、法语、希伯来语、意大利语、日语、韩语、荷兰语、波兰语、葡萄牙语、西班牙语、瑞典语、土耳其语、中文。
• 生成模式可控：可向 model.generate 传入可选的 generation_mode 参数，取值为 text、audio、interleaved，分别对应纯文本、纯语音、文本与语音交错；默认情况下模型依据系统提示与输入模态自行选择输出模态。

使用入口

模型仓库地址：LFM3-Omni-2B。

据项目说明，仓库提供两种 checkpoint 变体：BF16 权重用于 GPU 推理，可配合 SGLang 或 Transformers（SGLang 服务文本输出）；GGUF 变体用于 llama.cpp，可在 CPU 与 GPU 上本地推理，并包含一个实时语音服务器。

Transformers 路径的依赖安装方式（照模型卡原文）：

pip install "transformers>=5.20.2" torch torchvision torchcodec accelerate pillow librosa soundfile

加载模型时需启用自定义代码，处理器会从 audio_tokenizer/ 读取编解码器权重：

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "LiquidAI/LFM3-Omni-2B"
model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to(device=device).eval()

采样参数方面，模型卡建议：纯文本输出用贪心解码即可；语音或交错输出使用 audio_temperature=0.4、audio_repetition_penalty=1.2。模型卡还给出了 ASR、TTS、语音聊天、语音转文本聊天、音频理解等场景的完整示例代码，均通过系统提示词指定任务，例如转写用 Perform ASR in <语言>.，合成用 Perform TTS in <语言> using a <female|male> voice.。

许可与限制

• 许可证：事实表标注为 other，即自定义许可。模型卡中写明为 LFM Open License v1.0，具体条款请以仓库 LICENSE 文件为准，本文不对其可否商用等作出判断。
• 非推理模型：模型卡明确说明这是 non-reasoning 模型，不支持 enable_thinking=True；每个回答都以一个空的思考标记开头。
• 音频输入格式：音频在加载时会被重采样为 16 kHz 单声道；输出语音为 24 kHz。
• 视频采样：默认 2 fps、4 到 384 帧，超出范围的视频需要自行处理。
• 上下文上限：32K token 为输入加输出的总长度，长视频或长对话需注意截断。
• 语言边界：文本与语音支持的语言集合并不完全一致，例如语音侧区分英式与美式英语，使用前应核对模型卡中的语言列表。
• 硬件：模型卡称其面向手机、笔记本等边缘硬件，但未给出具体的显存或内存门槛；实际部署条件需结合所选 checkpoint 变体（BF16 或 GGUF）自行评估。