janas - 用 C 写的本地大模型推理工具,让 80B 模型在 32 GB 内存笔记本上跑起来
janas 是一组用 C 编写、除 C 标准库外无依赖的人工智能工具集,首个组件 Janas-LLM 面向普通电脑运行大型混合专家(MoE)语言模型:权重留在磁盘上,每个 token 需要的专家从 NVMe SSD 流式读取,常用专家留在内存中。项目自述称,一台 32 GB 内存的笔记本即可运行并回答 80B 参数模型。仓库由 prabanta-dev 维护,采用 GPL-3.0 许可,最新 release 为 v2026.10.12.1。