janas - 用 C 写的本地大模型推理工具，让 80B 模型在 32 GB 内存笔记本上跑起来

janas 是一组用 C 编写的人工智能工具集，除 C 标准库之外没有其他依赖。它的第一个组件 Janas-LLM 的目标很具体：让大型混合专家（MoE）语言模型跑在普通电脑上，有 GPU 或没有 GPU 都可以。据项目说明，它的做法是让权重留在磁盘上，每个 token 实际需要的专家从 NVMe SSD 流式读取，而那些反复被用到的专家则留在内存里，因此一台 32 GB 内存的笔记本也能运行并回答 80B 参数的模型。它适合手头只有普通笔记本或台式机、又想在本地跑大模型的人，也适合愿意把不同硬件上的运行数据反馈回去的测试者。需要提前说明的是，项目自述把当前阶段定位为「实验，而不是产品」。

维护者与状态

仓库由 prabanta-dev 维护，地址为 prabanta-dev/janas。仓库创建于 2026-09-20，最后一次提交在 2026-10-12。最新 release 为 v2026.10.12.1，发布于 2026-10-12。截至 2026-10-13，仓库获得 263 个星标。

项目自述对状态的描述相当直白：处于早期开发阶段，公开 API 和命令行「会不作通知地变化」，而且曾经一周内变化数次；模型文件是例外，发布在 Hugging Face 上的 .jns 文件（格式版本 2）会被之后每一个版本的 Janas-LLM 读取。稳定性方面，项目自述写明「未经验证」，并解释引擎对机器相当激进：它会用专家缓存填满空闲内存，并以 O_DIRECT 全速读盘；在余量比它估计的更小的机器上，桌面可能被推入 swap 而变慢甚至无响应。项目还提到，使用 GPU 曾导致过一次驱动重置，把桌面一起带走了。

主要能力

以下内容均来自项目自述，未经本站实测验证。

• 在内存不足的机器上运行大 MoE 模型。据项目说明，权重保存在磁盘，按 token 流式读取所需专家，常用专家驻留内存，因此 48.4 GB 的 Qwen3-Next-80B-A3B 这类超出内存容量的模型也能运行。
• 可选 GPU 加速。项目自述称，在它开发所用的笔记本上，集成 Arc GPU 会参与读取提示词；也可以通过环境变量 JANAS_GPU=0 完全关闭 GPU。
• 草稿加速（draft）。据项目说明，最后一列数据来自「草稿猜下一个 token、模型再校验」的方式，即同样的文本以更高速度产出；Qwen3.5、Qwen3.6 与 Qwen3-Next 使用模型自带的预测块，Gemma 4 使用它自己的小型草稿模型。
• 自动选择线程与配置。项目自述称，引擎会根据自己测量到的结果做选择：每类 pass 的首次运行会尝试所有核心、每性能核一线程以及性能核线程等组合，保留最快的，之后偶尔再试其他组合。
• 自带基准测试。项目提供 janas-bench，据项目说明，它会在你的机器上测出属于你的那组数字，这也是项目最希望收到的反馈。
• 数据写入范围有限。项目自述称，它只写入 ~/.cache/janas（记录它了解到的机器信息，以及已读过的系统消息，避免重复读取）和你指定的转换模型输出位置，不会改动它读取的模型文件。

项目自述还给出了它开发所用机器的配置：Linux Debian 13（trixie）、x86-64、内核 6.12.107、Mesa 26.1.6（Vulkan）驱动、GCC 14.2 构建；Intel Core Ultra 9 185H（6 个性能核、8 个能效核、2 个低功耗核，支持 AVX2、FMA、F16C、AVX-VNNI，集成 Arc GPU）；32 GB DDR5 内存；1 TB NVMe SSD（读取约 5.7 GB/s）。Windows 构建在同一台笔记本的 Windows 11（build 26300）上运行过，使用 Intel 自家显卡驱动。

使用入口

仓库地址：prabanta-dev/janas。

据项目说明，在 Linux x86-64（Ubuntu 22.04、Debian 12 及更新版本）上可以这样开始：

curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz
tar xf janas-linux-x86_64.tar.gz && cd janas
./janas-chat

项目自述称，janas-chat 会列出它认识的模型，选一个之后会自动下载并校验。在 Windows 10（1903 或更新）与 11 的 x86-64 上，下载 janas-windows-x86_64.zip，解压后在其中的 janas 目录里运行 .\janas-chat。模型已由 Hugging Face 预先转换好；也可以从源码构建。项目自述还提到，出问题时 Ctrl-C 可停止一次回复，Ctrl-D 退出对话，--cache 可给内存占用设硬上限。

许可与限制

许可证为 GPL-3.0。

项目自述列出的限制值得逐条看清：

• 阶段与稳定性。早期开发，公开 API 与命令行会不作通知地变化；稳定性「未经验证」。引擎会填满空闲内存并以 O_DIRECT 全速读盘，内存余量不足时桌面可能被推入 swap 而变慢或无响应；使用 GPU 曾导致过一次驱动重置。
• 硬件覆盖面。项目自述称，它只在一台机器上开发和运行，在其他任何硬件上都未经验证，可能更慢、可能拒绝加载模型、也可能行为异常。项目明确说从未尝试过其他 CPU（尤其是没有 AVX-VNNI 的，或 AMD 的）、独立 GPU、更慢的磁盘、更多或更少的内存。
• 数据写入。只写 ~/.cache/janas 和你指定的转换模型输出位置，不改动读取的模型文件。
• 性能数字的适用范围。项目自述中所有速度数据都来自它自己那台机器，换一台机器结果会不同；项目建议用 janas-bench 测自己的数字，并把报告反馈回去。

需要提醒的是，上述能力、性能与限制均出自项目自述，本站没有运行过该项目，无法独立验证这些说法。在把 janas 用于任何重要工作之前，建议先在自己的机器上跑一遍 janas-bench，并留意它可能对系统内存和磁盘造成的压力。