Olala-v1.0-mini-7A1B - 面向推理、指令跟随与工具调用的小型混合架构语言模型
Olala-v1.0-mini-7A1B 是 OVHaiLLM 发布的开源文本生成模型,采用 Mamba-3 与注意力混合的 MoE 架构,总参数 6.8B、每 token 约 1B 激活参数,支持 32K 上下文、四档推理强度与多轮工具调用。本文整理其维护状态、项目自述能力、部署入口与许可限制。
Olala-v1.0-mini-7A1B 是 OVHaiLLM 发布的一个文本生成模型,托管在 Hugging Face 上,任务类型为 text-generation,基于 transformers 框架。按项目自述,它是一款面向聊天、指令跟随与工具调用的小型推理模型,采用混合 Mamba-3 与注意力层的混合专家(MoE)架构,适合希望在本地或私有环境中运行一个可思考、可调用工具的中等规模模型的开发者与研究者。它的定位不是通用大模型的能力对标,而是在较小激活参数下提供推理链路与 agent 能力。
维护者与状态
该模型由 OVHaiLLM 维护,仓库创建于 2026-10-30,最后更新于 2026-11-19。截至 2026-11-21 的数据读取时间,近 30 天下载量为 1021 次,点赞数为 168。事实表中未列出正式 release 信息,因此这里不对版本发布节奏作额外推断;仓库当前以模型权重与模型卡的形式提供。许可证为 apache-2.0。
主要能力
以下能力均来自项目自述(模型卡),未经独立验证:
- 混合架构与参数规模:据项目说明,模型共 36 层,其中 29 层为 Mamba-3、7 层为注意力层(每五层一个),每层后接一个 MoE 块,含 256 个路由专家(每次激活 6 个)与 1 个共享专家;总参数 6.8B,每 token 约 1B 激活参数。
- 上下文长度:模型卡称支持 32K token 的输入加输出上下文,并提到 128K 上下文版本尚在计划中。
- 推理强度可调:模型在回答前先思考,提供 disabled、low、medium(默认)、high 四档推理强度,其中 high 被描述为更适合数学、但速度更慢。
- 工具调用与多轮检索:项目自述其经过强化学习训练,能够调用工具并在多轮中执行搜索类任务。
- 多语言:据模型卡,预训练覆盖英语及另外 36 种语言(退火阶段为 38 种),以欧洲语言为主,另含阿拉伯语、中文、日语和韩语;多语言后训练评测覆盖 11 种语言(MGSM)与 8 种语言(Multi-IF)。
- 输出通道结构:模型按通道书写,推理内容进入 analysis 通道,答案进入 final 通道,工具调用进入 tools 通道,可通过 chat template 自动格式化。
- 同系列模型:模型卡列出同家族还包括 base 预训练模型、SFT 检查点,以及面向文档摘要与机器翻译(含金融文档)的两个专用模型。
使用入口
模型权重与模型卡发布在 Hugging Face:Olala-v1.0-mini-7A1B。
据项目说明,使用方式大致分为托管推理与自行部署两类。托管侧提到可通过 OpenAI 兼容接口调用,也提到 Hugging Face Inference Providers 的 ovhcloud 提供方;模型卡给出的调用片段使用 base_url="https://router.huggingface.co/v1" 与模型名 OVHaiLLM/Olala-v1.0-mini-7A1B:ovhcloud,采样参数为 temperature 0.8、top_p 0.9。
自行部署方面,模型卡明确提示 Ollama、LM Studio 以及官方版 llama.cpp、vLLM、mlx-lm 目前尚不能加载该模型,需要改用其分支版本。按硬件条件,模型卡给出的对应关系是:Apple Silicon(M2 及以后、16 GB)用 MLX;M1 Mac、无 GPU 的 PC 或单张 NVIDIA GPU 用 llama.cpp 的 GGUF 版本;24 GB 以上显存的 NVIDIA 服务器用 vLLM。vLLM 路径要求 Linux、Python 3.12,模型卡称已在 L4 与 L40S 上测试,并强调必须加上 --mamba-ssm-cache-dtype float32,否则长文本生成会退化为重复循环;首次启动编译内核约需 8 分钟。纯 Python 研究用途可用 Transformers 加载,模型卡给出的依赖为 torch、transformers 5.8.*、accelerate 与 einops,并提示不装额外内核时速度较慢。
pip install torch "transformers==5.8.*" accelerate einops
许可与限制
许可证为 apache-2.0。使用时需要注意的边界,按项目自述整理如下:
- 模型为纯文本模型,模型卡标注为 text-only,不涉及图像或多模态输入。
- 官方推理栈的兼容性尚未打通,Ollama、LM Studio 与上游 llama.cpp、vLLM、mlx-lm 均需等待或改用分支,这会影响开箱即用的体验。
- vLLM 部署对缓存精度有硬性要求,且对显存有下限(24 GB 以上),CPU 纯 PyTorch 推理速度有限。
- 32K 上下文是当前版本的上限,更长上下文版本尚未发布。
- 模型卡中的架构参数、训练数据规模与评测语言覆盖均为项目自述,使用前建议结合自身任务做验证。