inferssd - 用 SSD 运行超出内存与显存容量的大型 MoE 模型

inferssd 是一个面向大型混合专家（MoE）模型的本地推理引擎，由 wici-ai 维护。据项目说明，它构建在 llama.cpp 之上，核心目标是让用户在自己的机器上运行参数量远超内存与显存容量的模型：权重从 SSD 读取，使用标准 GGUF 文件，不需要为模型准备同等规模的内存。项目同时提供终端聊天、浏览器聊天界面和一个 OpenAI 兼容的 API 服务。它适合手头有较大容量 SSD、希望在本机或工作站上跑大 MoE 模型，又不想依赖云端推理的开发者与研究者。

维护者与状态

项目由 GitHub 组织 wici-ai 维护，仓库创建于 2026-10-22，最后一次提交在 2026-11-01。最新正式版本为 v0.1.1，发布于 2026-10-31。截至 2026-11-02，仓库获得 243 个星标。从时间线看，这是一个非常年轻的项目，版本号仍处于 0.1.x 阶段，接口与支持范围都可能随版本变化。

主要能力

以下能力均来自项目自述（README），未经独立验证：

• 从 SSD 运行大模型：据项目说明，InferSSD 可以让模型规模超过 RAM 或 VRAM 的 MoE 模型正常运行，权重存放在 SSD 上，按需读取。
• 使用标准 GGUF 文件：不引入私有权重格式，直接读取社区转换的 GGUF 文件，也支持用户已有的本地分片文件。
• 模型支持范围：README 中称当前支持 DeepSeek-V4.1-Flash-1017 与 Muse-Spark-Open 两个模型，并称后续会加入更多模型。项目给出的参考 GGUF 分别为 mrfakename 的 Q8_0 转换与 Unsloth 的 UD-Q4_K_XL 转换；其中 DeepSeek 的 Q8_0 保留官方位宽，路由专家维持原生 4-bit MXFP4，FP8 张量转为 8-bit Q8_0。
• 两种使用形态：命令行聊天（inferssd cli）与本地服务（inferssd serve）。后者会在 http://127.0.0.1:8080 提供网页界面，并在 /v1 路径上暴露 OpenAI 兼容接口，可接入任何兼容客户端。
• 自动适配硬件：据项目说明，首次运行会下载模型文件并测量本机配置，没有需要手动选择的内存参数，引擎会使用当前可用的内存。

README 还给出了一组在 MacBook Pro、RTX 5060 Ti、RTX 5090 与 DGX Spark 上的吞吐对比数据，并标注了相对 llama.cpp 的加速倍数。这些数字由项目方自行测量，测试条件（4K 提示、256 输出 token、decode 统计第 129–256 个 token）也由项目方定义，本文不转述具体数值，读者如需参考应直接查看仓库中的测量方法说明。

使用入口

代码与发布包位于 wici-ai/inferssd，项目主页为 wici.ai/inferssd。

据 README，安装通过官方脚本完成，目前只支持从源码编译，因此引擎会针对本机的 CPU 与 GPU 构建，尚无预编译包；构建时间约 2 到 12 分钟，视机器而定。安装器在私有环境中运行，不使用 sudo。

curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh

前置条件包括 Git、Python 3.9 或更高版本、C/C++ 编译器；macOS 需要 Xcode Command Line Tools，Linux 需要 CUDA 工具链、liburing 头文件，以及启用 cgroup v2 的 systemd。安装完成后可直接启动模型：

# 终端聊天
inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

# 启动网页界面与 OpenAI 兼容 API
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

使用 Muse 时换成 unsloth/Muse-Spark-Open-816B-A42B-GGUF。首次运行会向 ~/.local/share/inferssd/models 下载约 470 GiB 的模型文件，可用 --model-dir 指定 SSD 上的目录，或用 -m 指向已有的首个分片文件。退出方式为 Ctrl+C，或在聊天中输入 /exit。

许可与限制

项目采用 Apache-2.0 许可证。据 README，内置的 llama.cpp/ggml 及其他第三方组件保留各自的原始许可与声明，详见仓库中的 NOTICE 文件；模型权重仍受各自发布方许可约束，使用前需单独确认。

已知限制方面，README 明确写到：目前仅支持 Apple Silicon 的 macOS 与配备 NVIDIA GPU 的 Linux，Windows 版本仍在开发中；安装只能从源码编译，没有预编译包；支持的模型仅限上述两个，且需要准备数百 GiB 的 SSD 空间存放权重。此外，项目版本仍为 0.1.x，功能与兼容性可能快速变动，用于生产环境前应自行评估。