LFM2.5 - 面向端侧智能体的 24B 总参 / 2B 激活推理模型

LFM2.5-24B-A2B 是 LiquidAI 发布的一个纯文本推理模型，采用混合专家（MoE）结构：总参数 24B，但每个 token 只激活约 2B 参数。按项目自述，它的定位是「在设备本地运行的快速、私有智能体」——需要先推理、再调用工具、并且要在自己的机器上稳定跑起来的那类场景。它适合希望把智能体能力放在本地或自有算力上、又不想承担大模型推理开销的开发者；项目自述也明确提示，不建议把它单独用于知识密集型任务，而应搭配检索或联网搜索，以发挥它在工具调用上的长处。

维护者与状态

该项目由 LiquidAI 维护，仓库托管在 Hugging Face。事实表显示，仓库创建时间为 2026-10-12，最后更新时间为 2026-10-13。任务类型为 text-generation，使用 transformers 框架。截至 2026-10-14，近 30 天下载量为 2565，点赞数为 170。事实表中未记录正式 release 信息，因此这里不对版本发布情况作额外说明。

主要能力

以下内容来自项目模型卡的自述，属于维护者一方的描述，未经本站独立验证。

• 始终先推理再作答：据项目说明，与 LFM2-24B-A2B 不同，LFM2.5-24B-A2B 是一个纯推理模型，会在给出答案前先思考；模型卡称其会在聊天模板中直接加入相应标记。
• MoE 速度下的推理：项目自述每个 token 仅激活约 2B 参数，因此每个推理 token 的成本较低。
• 工具调用：模型卡描述了一个四步函数调用流程——在系统提示中以 JSON 对象提供工具列表（或通过 tokenizer.apply_chat_template() 传入 tools=...）；模型默认以 Python 风格写出函数调用；执行后以 tool 角色回传结果；最后由模型解读工具输出并给出自然语言答案。项目说明中提到，可以在系统提示中要求模型改为输出 JSON 格式的函数调用。
• 多语言：模型卡列出的语言包括英语、阿拉伯语、中文、法语、德语、意大利语、日语、韩语、葡萄牙语、西班牙语、越南语、泰语、印尼语、印地语、俄语和波兰语。
• 多种部署格式：据项目说明，除原生格式的原始检查点外，还提供 FP8 检查点（分块 FP8 权重、动态 FP8 激活）、面向 llama.cpp 的 GGUF 量化格式、面向跨平台部署的 ONNX Runtime 格式，以及面向 Apple Silicon 的 MLX 4bit 格式。模型卡还提到一个用于 SGLang 推测解码的 DSpark 草稿模型，标注为「即将推出」。
• 微调支持：模型卡列出了基于 Unsloth 的继续预训练与 LoRA 监督微调、基于 TRL 的 LoRA 监督微调、DPO 与 GRPO 等路径，并建议针对具体用例做微调以获得更好效果。

模型卡给出的结构信息包括：40 层（30 个双门控短卷积块加 10 个 GQA 层）、每个 MoE 块 64 个专家、top-4 路由、训练预算 36 万亿 token、词表 128000、上下文长度 131072 token。项目自述还提到，相比 LFM2-24B-A2B，上下文窗口从 32K 扩展到 131K，词表通过原地分词器扩展从 65K 翻倍到 128K，以改善非拉丁文字的切分。这些数字均出自模型卡，本站未做复现。

使用入口

模型仓库地址为 LiquidAI/LFM2.5-24B-A2B。

据项目说明，使用 Transformers 推理需要 transformers>=5.0.0，基本调用方式如下：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
)

模型卡还列出了 vLLM、SGLang、llama.cpp、MLX、LM Studio 等推理框架，以及 Hermes、OpenClaw、Pi 等智能体工具的接入配置示例。项目自述的推荐生成参数为 temperature: 0.1、top_k: 50、repetition_penalty: 1.05；聊天模板采用类 ChatML 格式，可通过 tokenizer.apply_chat_template() 自动格式化消息。

许可与限制

事实表记录的许可证为 other，即自定义许可，具体条款以仓库中的 LICENSE 文件为准，本文不对其可否商用等问题作出判断。

关于适用边界，项目自述中明确提到的限制有：该模型是纯文本模型，不涉及多模态输入；不建议单独用于知识密集型任务，应配合检索或联网搜索使用。模型卡给出的部署格式差异也构成实际约束——FP8 面向 GPU 高吞吐服务，GGUF 面向 CPU 推理与本地部署，MLX 面向 Apple Silicon，选择哪种格式取决于目标硬件。此外，模型卡中提到的 DSpark 草稿模型标注为「即将推出」，说明该能力在撰写时尚未提供。

需要说明的是，模型卡中出现的性能对比与吞吐数字（例如与其他 MoE 模型的基准比较、设备上的生成速度）均为维护者自述，本文仅作转述，未做独立验证，读者不应将其视为中立评测结论。