Inkling-2-Small - 594B 总参数、17B 激活的原生多模态开源权重模型

Inkling-2-Small 是维护者 thinkingmachines 发布在 Hugging Face 上的一个图文转文本（image-text-to-text）多模态模型，基于 transformers 框架。据项目说明，它接受文本与图像输入、输出文本，面向构建 AI 应用的开发者，包括智能体与工具调用系统、编程助手、聊天机器人和检索增强生成系统，也适用于通用对话与指令跟随任务。项目以开放权重形式发布，供研究、微调以及被下游开发者集成进第三方产品。需要提前说明的是，这不是一个能在单张消费级显卡上跑起来的小模型：据项目说明，主检查点需要至少 500GB 聚合显存，因此它更适合有 GPU 集群资源的团队，而不是个人本地试用。

维护者与状态

该模型仓库由 thinkingmachines 维护，托管在 Hugging Face 上，任务类型为 image-text-to-text，框架标注为 transformers。仓库创建于 2026-11-04，最后更新于 2026-11-13。截至 2026-11-14 的数据读取时间，近 30 天下载量为 1064，点赞数为 244。事实表中没有对应的正式 release 记录，因此这里不对版本发布节奏作任何推断；如需确认最新权重与文件变动，应以仓库页面显示为准。

主要能力

以下能力描述均来自项目自述（模型卡），属于维护者的说明而非中立评测结论。

• 原生多模态架构：据项目说明，模型是一个 48 层、仅解码器的 Transformer，前馈部分采用稀疏混合专家（MoE）结构，每个 token 路由到 384 个专家中的 8 个；注意力层为局部层与全局层的混合。图像经视觉 Transformer 编码后，与文本一起投影到共享隐空间，由解码器联合处理。
• 参数规模：项目自述总参数 594B、激活参数 17B。
• 上下文与输入输出：支持最长 1M token 的上下文窗口；文本输入为 UTF-8 编码，图像可为任意像素格式，项目建议每个维度在 40px 到 4096px 之间以获得较优表现；输出为 UTF-8 文本。
• 数值格式：项目说明支持 MXFP8 与 NVFP4 两种数值精度，并称模型在预训练、中训练与后训练阶段均使用 NVFP4，因此 NVFP4 是其原生精度。
• 语言与场景：项目称模型以英语为主，具备其他语言的通用多语言能力，并覆盖多种编程语言；适用场景包括通用对话、指令跟随以及其他自然语言与视觉任务。
• 训练数据：据模型卡，训练数据涵盖文本、图像、视频等多种内容类型，来源包括公开渠道、第三方获取、内部生成以及合成或增强数据，并经过去重、过滤等清洗处理。

模型卡中还附有一张覆盖编程、搜索与工具、知识工作、金融、法律、视觉感知等多个类别的评测表，其中包含与其他模型的横向数字。这些数字由项目方自行整理，本栏目不转述、不比较，读者如需了解可自行查阅原始模型卡。

使用入口

模型权重与说明文档发布在 Hugging Face 仓库：Inkling-2-Small。

据项目说明，可以通过以下方式使用：

• 在线试用与 API：可在 Tinker Playground 试用，或通过 Tinker Cookbook 以 API 方式访问；若要用 Tinker 微调，还需安装 tml-renderers 包。
• 本地推理：项目列出了 SGLang、vLLM、TokenSpeed、Unsloth 四条本地推理路径，各自配有对应的 recipe。
• 后训练：项目称可用 Miles、SkyRL、Snowflake Cortex Training API 进行后训练。
• 第三方推理服务：项目列出了 NVIDIA、Fireworks、Together、Baseten、Nebius、Modal、Cloudflare 等第三方推理提供方。

项目同时说明，直接在 GPU 硬件上运行模型需要一个推理部署框架，可选 SGLang、vLLM、TokenSpeed、Unsloth 或 Hugging Face，并需安装各自对应的依赖库。

许可与限制

许可证为 apache-2.0，具体条款以仓库中的许可文件为准。

硬件方面，据项目说明，模型以两种检查点格式分发：主推的 NVFP4 检查点需要至少 500GB 聚合显存的 GPU 集群，示例配置为 2 张 NVIDIA B300 或 4 张 NVIDIA H200；备选的 MXFP8 检查点需要至少 800GB 聚合显存，示例配置为 4 张 NVIDIA B300 或 8 张 NVIDIA H200。项目称 MXFP8 在评测上仅比 NVFP4 高出 1 到 2 个百分点，并认为这一差距在实际使用中意义不大，因此推荐所有场景使用 NVFP4 检查点。这些硬件门槛意味着部署方需要按集群规模规划资源，而不是按单卡显存估算。

适用边界上，项目将模型定位为通用多模态助手与开发组件，语言以英语为主；图像输入虽支持任意像素格式，但项目给出了 40px 至 4096px 的推荐区间。模型卡中的评测数字由项目方提供，未经过独立复现，引用时应保留这一前提。