AB
AiBoss站
project

Inkling-2-Mini - 可本地部署的 26.4B 原生多模态开源权重模型

Inkling-2-Mini 是 Thinking Machines 发布的开源权重多模态模型,接受文本与图像输入、输出文本,总参数 26.4B、每 token 有效激活约 5.4B,以约 20GB 混合精度单检查点分发,可在 Apple Silicon 与单张 NVIDIA DGX Spark 等本地设备上推理。

Inkling-2-Mini 是 Thinking Machines 发布的一款通用多模态模型,任务类型为 image-text-to-text:接受文本与图像输入,生成文本输出。据项目说明,它面向构建 AI 应用的开发者,适用场景包括智能体与工具调用系统、编程助手、聊天机器人以及检索增强生成系统,也覆盖通用对话、指令遵循等自然语言与视觉任务。项目以开放权重形式发布,目的是支持研究、微调以及被下游开发者集成进第三方产品。对于希望在本地或自有环境中运行一个多模态模型、又不想依赖闭源 API 的团队,这是它最主要的吸引力所在。

维护者与状态

该仓库由 thinkingmachines 维护,托管在 Hugging Face 上,采用 transformers 框架。仓库创建于 2026-11-17,最后更新于 2026-11-21。截至 2026-11-22 的数据读取时间,近 30 天下载量为 7944 次,点赞数为 3021。事实表中没有给出正式 release 版本号,因此这里不对版本节奏作额外推断。

需要说明的是,素材中提到的发布日期、参数量、硬件支持等信息均来自维护者自述的模型卡,本文在引用时都会标明出处;仓库层面的元数据以事实表为准。

主要能力

以下内容据项目自述(模型卡)整理,未经本站独立验证。

  • 原生多模态架构:据项目说明,模型为多模态自回归循环 Transformer(looped transformer),图像经视觉 Transformer 编码后与文本一起投影到共享隐空间,由解码器联合处理,而非外挂式视觉适配器。
  • 稀疏 MoE 与循环层:模型为 24 层 decoder-only Transformer,前馈层采用稀疏混合专家结构,每层每个 token 路由到 128 个专家中的 8 个;中间 12 层以共享权重重复运行三次,因此每个 token 实际经历 48 层次计算。总参数 26.4B,每 token 有效激活参数约 5.4B。
  • 长上下文:模型卡称支持最长 1M token 的上下文窗口。
  • 图像输入范围:支持任意像素图像输入,为获得较优效果,建议每一边的尺寸在 40px 到 4096px 之间。
  • 多语言与多编程语言:据项目说明,模型面向英语及其他语言使用,并覆盖多种编程语言。
  • 数值格式:支持 NVFP4 与 MXFP8 两种数值精度。

模型卡还列出了训练数据来源,包括公开可获取的内容、第三方获取的数据、内部生成以及合成或增强生成的数据,覆盖文本、图像、视频等多种内容类型,并包含去重与低质量数据过滤等处理步骤。

使用入口

权重与模型卡发布在 Hugging Face 仓库:Inkling-2-Mini。

据项目说明,模型以单个约 20GB 的检查点分发,采用 NVFP4 与 MXFP8 混合精度,因此具备在本地 AI 算力上做推理的可行性。官方列出的支持环境包括:

  • 1 台 NVIDIA DGX Spark;
  • 内存 32GB 及以上的 Apple Silicon 设备(MacBook、Mac mini、Mac Studio);
  • 其他 GPU 与平台亦可,建议显存 32GB 及以上。

推理框架方面,模型卡称支持 Hugging Face、SGLang、vLLM、TokenSpeed、NVIDIA Dynamo、Unsloth(含量化 GGUF 版本)、llama.cpp(用于量化 GGUF 版本)、Apple Silicon 上的 Llama App,以及 Ollama 与 Exo Labs。后训练方面则列出 Miles 与 SkyRL。此外,开发者也可以通过 Tinker 微调平台以 API 方式访问该模型,模型卡提到需要参考 Tinker Cookbook 并安装 tml-renderers 包;Tinker playground 另提供仅推理的访问方式。具体安装命令与调用示例请以仓库与官方文档为准,本文不代为转述未核实的命令。

许可与限制

许可证为 apache-2.0,按事实表原样记录。

关于已知限制,模型卡给出的说明包括:作为基础模型,它可能出现幻觉,即生成看似合理但事实错误或缺乏支撑的内容;也可能偶发地无法遵循指令。模型卡同时提到发布前进行了安全评估,覆盖日常人机交互与危险能力测试,并针对多模态场景检查了文本与图像输入下安全表现的一致性;在 CBRN、网络、失控等方向上的结论是,该模型未提供超出已有开放权重模型的实际能力提升。这些均为维护者自述,读者应结合自身场景独立评估。

硬件层面需要注意,约 20GB 的检查点体积与 32GB 内存/显存的建议值意味着它并非能在任意笔记本上随意运行的模型;若使用量化 GGUF 版本,则需依赖 llama.cpp 或 Unsloth 等相应路径。此外,模型卡中列出的评测成绩属于维护者自行报告的基准结果,本文不引用具体分数,也不做横向对比。