AB
AiBoss
News

Thinking Machines 发布 Inkling 2 Mini:26B 循环 MoE 可在 32GB Mac 本地运行

Thinking Machines Lab 发布开放权重模型 Inkling 2 Mini,总参数 26.4B,通过循环复用中间层把检查点压到约 20GB,可在 32GB 内存的 Mac 或单台 NVIDIA DGX Spark 上运行,采用 Apache 2.0 许可。

核心事实

据 MarkTechPost 报道,Thinking Machines Lab 发布了开放权重模型 Inkling 2 Mini,总参数 26.4B,采用循环式(looped)Transformer 结构。该模型存储 24 层,分为 4 个 6 层区块,首尾两个区块各运行一次,中间两个区块以共享权重重复运行 3 次,因此每个 token 实际经历 48 次层计算。模型为稀疏混合专家(MoE)结构,每层 128 个专家、每个 token 路由 8 个,激活参数 3.4B,计入循环后每 token 有效参数约 5.4B,上下文长度最高 1M token。

报道称检查点约 20GB,官方列出三类运行环境:单台 NVIDIA DGX Spark、32GB 及以上内存的 Apple 芯片设备、以及 32GB 以上显存的 GPU。模型以 Apache 2.0 许可在 Hugging Face 发布,同时通过 Tinker 提供托管推理与微调,Unsloth 与 llama.cpp 提供量化 GGUF 版本。

背景与影响

Inkling 2 Mini 是此前发布的 594B 参数模型 Inkling 2 Small 之后的小尺寸版本,面向智能体编程、工具调用与文档处理等本地场景。据该报道,Thinking Machines 自报其在 SWE-bench Verified(仅 bash)上得分 79.2%,在 SWE-bench Pro v2(Hard)上 77.9%,在 Artificial Analysis Index 上为 20.1,与 Qwen3.8-27B 持平。报道同时指出其短板:知识类基准表现偏弱,AA-Omniscience 为 -8.6,MultiChallenge 为 50.0%,HLE-Diamond 为 15.2%。

上述分数均为厂商自报,且不同厂商使用的评测框架与设置不同,跨厂商对比只宜作方向性参考。

限制与来源

本文信息来自 MarkTechPost 的报道,其中性能数据、硬件要求与许可条款均引自厂商材料,尚未经独立复现验证。Tinker 的定价在发布材料中未披露;托管推理与量化版本的实际可用地区、账号与语言支持,请以官网及模型卡当前信息为准。本文不构成任何采购或投资建议。

来源:MarkTechPost