LFM2.5-24B-A2B - Liquid AI 开源的端侧推理模型

LFM2.5-24B-A2B是什么

LFM2.5-24B-A2B 是 Liquid AI 推出的开源权重推理模型，属 LFM2.5 系列旗舰。总参数 24B、每 token 仅激活 2.45B，40 层 MoE 架构，支持 131K 上下文与 16 种语言。LFM2.5-24B-A2B回答前必先生成思维链，专为端侧 Agent 优化，LiveClaw 得分 48.09 反超参数量大 50% 的 Qwen3.6-35B-A3B，在 M5 Max 上解码达 184 tok/s，比同类 MoE 最快 1.7 倍。适合本地私有化部署的推理与工具调用场景，知识密集任务建议搭配检索使用。

LFM2.5-24B-A2B的主要功能

• 端侧 Agent 推理：专为在个人设备上本地运行的快速、私密智能体而设计。
• 纯推理模式：回答前自动生成显式思维链，用低激活成本换取答案质量。
• 函数调用：原生支持四步工具调用流程，可直接接入 OpenClaw、Hermes Agent、Pi、OpenCode 等框架。
• 多格式部署：提供原生、FP8、GGUF、ONNX、MLX-4bit 等版本，覆盖 GPU、CPU、Apple Silicon 及边缘设备。
• 长上下文处理：支持 131,072 tokens 上下文，可处理长文档与多轮智能体轨迹。
• 多语言能力：覆盖英、中、日、韩、阿拉伯等 16 种语言，128K 词表优化非拉丁语系分词。
• 快速推理：Apple M5 Max 上 184 tok/s，比同类 MoE 最高快 1.7 倍，单卡 B300 超 21K tok/s。

LFM2.5-24B-A2B的技术原理

• MoE 稀疏激活架构：模型共 24B 参数，但每个 MoE 块包含 64 个专家，推理时仅通过 top-4 路由激活其中 4 个，使每 token 实际计算量仅 2.45B 参数。这是”大容量、低算耗”的核心，模型存储全部知识，但每次前向只动用一小部分，从而实现远小于同总参数量模型的推理成本。
• 混合层设计：卷积 + GQA 40 层网络由 30 个”双门控短卷积块”与 10 层 GQA混合构成。短卷积负责高效提取局部序列特征，注意力层负责长程依赖建模，两者交替使模型在保持线性层高效计算的同时仍具备长上下文能力，这也是 LFM 架构在边缘设备上速度快、内存省的结构基础。
• 词表原地扩展与长上下文训练：在保留上一代 LFM2-24B-A2B 主体架构的前提下，通过原地 tokenizer 扩展将词表从 65K 翻倍至 128K，显著改善中文、日文等非拉丁语言的 token 效率；上下文窗口从 32K 扩展至 131K，配合 300B tokens 的长上下文专项中期训练，使模型获得稳定的长序列处理能力。
• 三阶段训练流程：预训练消耗约 33T tokens；中期训练先在 32K 上下文用 2T tokens 高质量数据强化推理、数学、代码与指令遵循能力，在 131K 上下文用 300B tokens 专攻长文本，且两个阶段均注入工具调用与多轮交互数据；后训练采用 SFT→教师专业化→非 Agent 与 Agent 两轮多域同策略蒸馏→在 OpenClaw、Hermes 等真实智能体框架内做强化学习的五阶段流水线，使模型真正学会在真实工具环境中”思考-调用-验证”。

微信关注回复“开源”，加入AI开源项目交流群

如何使用LFM2.5-24B-A2B

• 获取模型：从 Hugging Face 下载 LiquidAI/LFM2.5-24B-A2B，按硬件选择原生 BF16、FP8、GGUF、ONNX 或 MLX-4bit 版本。
• 安装环境：确保 Python 环境装有 transformers>=5.0.0，或部署 vLLM、SGLang、llama.cpp、LM Studio 等推理框架。
• 加载模型：用 AutoModelForCausalLM.from_pretrained() 以 bfloat16 精度加载模型。
• 构造提示：用 tokenizer.apply_chat_template() 自动套用 ChatML 格式模板格式化对话。
• 参数设置：生成时采用官方推荐参数 temperature=0.1、top_k=50、repetition_penalty=1.05，思维链任务可将 max_new_tokens 设为 4096 以上。
• 配置工具调用：将工具列表以 JSON 形式写入 system prompt，模型会用 <|tool_call_start|> 标记输出函数调用，执行后以 tool 角色返回结果。
• 接入 Agent 框架：通过 OpenAI 兼容接口在本地启动服务，再接入 OpenClaw、Hermes Agent、Pi 或 OpenCode 等智能体框架。

LFM2.5-24B-A2B的核心优势

• 极致效率：24B 总参数仅激活 2.45B，Apple M5 Max 上 184 tok/s，比同类 MoE 最快 1.7 倍且内存占用最少。
• 以小胜大：Agent 与工具基准上战平参数多 50% 的 Qwen3.6-35B-A3B，LiveClaw 48.09 对 38.19，AutomationBench 更是超第二名 3 倍。
• 全程推理：纯思维链模型先思考后回答，且因低激活成本使每个推理 token 都很便宜。
• 原生 Agent 能力：发布即在 OpenClaw、Hermes、Pi、OpenCode 等主流框架内完成 Agentic RL 训练，工具调用开箱即用。
• 开放无限制：基座与后训练模型均开放权重，可自由下载、微调与商用。
• 全平台覆盖：原生支持 llama.cpp、MLX、vLLM、SGLang、ONNX，兼容 Apple、AMD、Qualcomm、NVIDIA 硬件。

LFM2.5-24B-A2B的项目地址

• HuggingFace模型库：https://huggingface.co/LiquidAI/LFM2.5-24B-A2B

LFM2.5-24B-A2B的同类竞品对比

LFM2.5-24B-A2B的应用场景

• 端侧私有 Agent：在 MacBook 等个人设备上全天候运行本地智能体，完成规划、工具调用与任务执行，数据全程不出设备。
• 离线/边缘助手：通过 GGUF、ONNX、MLX 格式部署到网络不稳定或无网环境（车载、野外、嵌入式终端），提供离线推理能力。
• 智能工具调度：作为 OpenClaw、Hermes Agent、OpenCode 等框架的驱动模型，执行定时简报生成、文件整理、代码操作等多步工作流。
• 业务流程自动化：用其在 ToolSandbox、τ³-Bench Banking 上的优势，处理银行、招聘、订单等需要查询系统并多轮确认的业务办理对话。