Project Maya - 在自有 GPU 上本地运行 3210 亿参数大模型的推理引擎

Project Maya 是一个把大模型推理搬回个人工作站的引擎。据项目自述，它专门为 GLM-5.3-Flash 这一个模型打造：3210 亿参数、每个 token 约激活 180 亿、上下文最长可达 100 万 token。这类体量的模型通常被认为需要数据中心，而 Maya 的思路是把它跑在用户已经拥有的硬件上——引擎会把当前对话最常用的专家留在 GPU，次常用的放在内存，其余放在 NVMe SSD，并随着对话推进搬运它们；同时它会测量用户的 GPU、CPU、内存与 SSD 并据此自我调优。项目强调「Nothing leaves your machine」，也就是推理过程完全在本机完成。它适合手头有一块或几块 NVIDIA 显卡、希望本地跑大模型并接入自己工具链的开发者，也适合多人共用一台机器、需要同时处理多个会话的场景。

维护者与状态

项目由 mw00 维护，仓库创建于 2026-10-06，最后提交时间为 2026-10-14。最新 release 为 v1.1.9，发布于 2026-10-14。截至 2026-10-14，仓库星标数为 813。项目采用 MIT 许可证。从创建到最新 release 仅一周多时间，属于非常年轻但迭代密集的项目。

主要能力

以下能力均来自项目自述，未经本站实测：

• 本地运行大模型：据项目说明，Maya 运行 GLM-5.3-Flash（由 zai-org 发布，MIT 许可），3210 亿参数、每 token 约 180 亿激活，上下文最长 100 万 token。
• 分层专家调度：引擎把对话最常用的专家留在 GPU、次常用的放在 RAM、其余放在 NVMe SSD，并在对话过程中动态搬运；同时会测量 GPU、CPU、RAM、SSD 并自动调参。
• 速度：项目自述称在四块 RTX 4090 上可达 118 tokens/s，单块 RTX 5090 上 30+ tokens/s，并列出多组来自用户的实测数据。
• 精度保持：据项目说明，Maya 自有的量化版本保留了 FP8 模型零样本准确率的 97.7%–99.2%。
• 工具接入：提供 OpenAI 兼容与 Anthropic 兼容 API，支持 tool calls，可用于编码类 agent。
• 并发请求：据项目说明，最多可同时处理 8 个请求，适合多会话 agent 或多人共用一台电脑。
• 开箱内容：浏览器内的聊天界面与实时监控面板、图片输入、思考等级设置，以及一条命令完成的安装流程。

项目自述还列出了多个自有量化版本：Maya-S（默认，96.5 GB）、Maya-S24（94.7 GB，面向 24 GB 及以下显存）、Maya-M（116 GB）、Maya-M-Derisked（116 GB，由 Blackfrost_AI 做权重编辑以减少笼统拒答，实验性）、Maya-L（156.3 GB）。安装流程会询问用户选择哪一个，并根据机器配置给出推荐。

使用入口

仓库地址：https://github.com/mw00/project-maya。模型权重发布在 Hugging Face：https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF。

据项目说明，安装方式为克隆仓库后运行安装脚本：

git clone https://github.com/mw00/project-maya.git && cd project-maya
./setup.sh

安装过程会询问若干问题（直接回车即采用推荐选项），在开始下载前展示所有下载内容，完成一次性构建（约 20–40 分钟，另加下载时间），并启动模型。随后打开 http://127.0.0.1:8080 即可使用。Ctrl+C 停止，再次运行 ./setup.sh 可立即重启。Windows 下改用 START-MAYA.bat，AMD 平台参见仓库内的 AMD 文档。更新可通过面板的 About > Update，或 git pull 后重新运行 ./setup.sh，模型不会重复下载。

调用方式上，项目自述提供 OpenAI 兼容 API（http://127.0.0.1:8080/v1）与 Anthropic 兼容 API（http://127.0.0.1:8080/v1/messages），并给出 Claude Code 的 ANTHROPIC_BASE_URL 配置示例。工具调用会随模型生成流式返回。思考等级分为 Off、Low、High（默认）与 Max，可在设置中或按请求指定。图片可在聊天中附加，或通过任一 API 以 image parts 发送。从其他设备访问时使用 ./maya.sh --setup --host 0.0.0.0 --api-key，项目提醒务必设置密钥。调优可运行 ./maya.sh --calibrate，据称 10–15 分钟完成。并发请求使用 ./maya.sh --parallel 4。

许可与限制

Project Maya 采用 MIT 许可证。所运行的 GLM-5.3-Flash 模型据项目自述由 zai-org 发布，同样为 MIT 许可。

硬件与系统要求（据项目说明）：

• GPU：NVIDIA，计算能力 7.0 及以上（V100、RTX 20 及更新），可用一块，也可最多 16 块共享模型；显存越多越快。AMD 为实验性支持，涵盖 RX 7900 XT / XTX、Radeon AI PRO R9700 / RX 9070、Strix Halo 与 Gorgon Halo（Radeon 8060S / 8065S），仅支持文本。
• 内存：32 GB 可运行；内存越多，能留在近处的专家越多，速度越快。
• 磁盘：需要一块快速 NVMe SSD，为模型（Maya-S 约 100 GB，Maya-L 约 160 GB）与图片编码器（1.1 GB）留出空间，不能用机械硬盘。
• 系统：Linux（x86-64，最好支持 AVX2）、NVIDIA 驱动、CUDA 12.x（CUDA 13 支持 RTX 20 及更新，不支持 V100）、g++、Python 3.10+。Windows 10/11 为实验性支持，且不支持 WSL2。AMD 需要 ROCm 7。

项目自述还提示：启动需要几分钟，因为引擎会占用大部分空闲内存（只留约 6 GB）作为专家层，因此 Maya 运行期间其他程序可用内存很少。此外，Maya-M-Derisked 版本为实验性，其精度「尚未测量」。这些限制与要求均来自项目自述，实际表现可能因硬件与配置而异。