用 RigSpark 在下载前判断本地 LLM 能否在你的电脑上运行

想在本机跑本地大模型，第一道坎往往不是安装推理框架，而是选模型：Llama、Qwen、Gemma 这些系列各有多个尺寸和量化版本，哪一个能在你手上这台机器上跑起来，事先很难判断。选错了，几十 GB 的下载就白费了。RigSpark 就是针对这一步的工具：它读取你的内存、显存（VRAM）和可用磁盘空间，对内置目录中的 254 个模型逐个给出「能跑／偏慢／跑不动」三档结论，并说明原因（显存不足、内存不足等），同时给出估算的生成速度。判定之后，它还能接管下载、SHA-256 校验、启动本地服务器、对话，以及实测速度。

它适合这几类人：刚开始接触本地 LLM、听说过 Ollama 或 LM Studio 但不知道该选哪个模型的人；带宽有限或磁盘紧张、不想反复下载失败的人；希望把文本留在自己电脑上、不发送到云端的人；以及正在考虑换机或加内存、想先算一算「某个配置能跑哪些模型」的人。如果你已经熟练用 Ollama 等工具管理模型，判定功能的新鲜感会弱一些，但切换模型、迁移对话等运维功能仍有价值。

判定过程完全离线完成，模型目录随程序一起分发；本地服务器只监听 127.0.0.1，输入的文本不会发往外部；也不需要注册账号。它支持 Windows、macOS 和 Linux，前两者提供桌面应用或安装包，Linux 只有命令行加浏览器界面（rigspark gui）。界面与命令均为英文，没有中文界面。

准备工作

系统与安装包

RigSpark 本体免费且开源（MIT 许可），没有付费计划，也没有靠付费解锁的功能。安装包按平台区分：

Windows：运行发布页提供的 RigSpark_x64-setup.exe；习惯命令行的用户也可以使用 zip 版。
macOS：从发布页的 .dmg 安装，或通过 Homebrew 安装：brew install shashankswe2020-ux/tap/rigspark。
Linux：解压发布页的 tar.gz 并把目录加入 PATH，或使用 Linux 版 Homebrew；此外也提供 Docker 镜像。

发行包没有代码签名，Windows 与 macOS 首次启动时可能出现系统警告，需要按系统提示处理（例如 macOS 上解除隔离属性）。请只从项目官方仓库的发布页获取安装包。

只做判定时的前置条件

如果只想看判定结果，不需要联网，也不需要安装任何推理框架——模型目录是随程序一起分发的。真正要运行模型时，才需要准备一个后端。

后端（推理框架）

RigSpark 负责「选哪个模型、用哪个后端」，推理本身由后端完成。可选后端包括 Ollama、llama.cpp、LM Studio、MLX（仅 macOS）和 BitNet。初次使用建议先装 Ollama。doctor 命令会列出尚未安装的后端，并给出获取地址。

可选：嵌入模型

聊天功能的「记忆」检索需要额外的嵌入模型，用 Ollama 时是 nomic-embed-text。没有它也能对话，只是会提示「未找到嵌入模型，将在没有记忆检索的情况下保存」。

操作步骤

第一步：先做整体判定

在终端执行：

rigspark recommend

程序读取本机硬件后，以排名形式列出 254 个模型的判定结果。每一行包含模型名、参数量、量化类型、所需内存估算、判定结论（yes／slow／no）、估算速度、所用后端（如 Ollama）、许可证和评分。「跑不动」的模型会连同原因集中显示在下方。

只想确认某一个模型时：

rigspark can-run llama3.1:8b

返回单条结论与原因，并明确区分是显存不足还是内存不足。

想了解整机状况时：

rigspark doctor

它会检查硬件、已安装的后端以及模型目录状态，输出「AI Hardware Score」（满分 100）和最大的瓶颈所在。

第二步：准备后端

只做判定可以跳过这一步。要真正运行模型，需要安装前面列出的任一后端。安装完成后可再跑一次 doctor，确认后端已被识别。

第三步：下载、校验并启动模型

rigspark up qwen3:8b

up 一次性完成模型下载、SHA-256 校验和本地服务器启动。校验用的摘要同时收录在模型目录中，因此下载到损坏或不完整的文件会被发现。

第四步：对话

rigspark chat --message "你好，请做一下自我介绍"

chat 既支持交互式对话，也可以用 --message 做一问一答。

第五步：实测速度

rigspark bench

对当前已启动的模型实测首字响应时间、加载速度和生成速度。判定表里的速度只是估算，实测才是这台机器上的真实表现。

第六步：停止服务

rigspark down

进阶：用别人的配置试算

给 --hardware 指定一个描述 PC 配置的 JSON 文件，就能得到「如果换成这套配置」的判定结果。换机或加内存之前，可以先用候选配置确认哪些模型能跑。

rigspark recommend --hardware my-next-pc.json

进阶：查看「怎样才能跑起来」

当某个模型被判为跑不动时，plan 会列出可行的执行路径。例如在「RTX 4060（8 GB 显存）+ 32 GB 内存」的配置下查询 DeepSeek-R1 32B，会得到三条路径：仅用 GPU 时「还差 17.0 GiB」；CPU 卸载时「占用 21.3 GiB 可以装下，但速度需实测才知道」；仅用 CPU 时「还差 3.0 GiB」。对于无法预估速度的路径，它会直接写「未知」，不把估算伪装成实测。

一个完整示例

下面这条流程从零开始，把判定、下载、校验、启动、对话、实测串成一条线。示例使用最小的 gemma3:270m（约 291 MB），适合先验证链路是否通畅。

# 1. 查看整机状况，确认后端是否就绪
rigspark doctor

# 2. 查看全部模型的判定排名
rigspark recommend

# 3. 单独确认目标模型
rigspark can-run gemma3:270m

# 4. 下载、校验并启动
rigspark up gemma3:270m

# 5. 发一条消息
rigspark chat --message "用一句话说明什么是本地大模型"

# 6. 实测速度
rigspark bench

# 7. 停止服务
rigspark down

如果第 4 步报错提示模型放不下，说明判定时的内存估算在启动阶段同样生效。确认风险可以接受后，可加 --bypass 跳过该检查继续启动。如果第 5 步提示没有嵌入模型，说明记忆检索不可用，对话本身仍会继续；装上 nomic-embed-text 后即可消除该提示。

在只有 CPU 的共享 Linux 机器上，这条流程可以完整走通：bench 实测首字响应约 0.38 秒、生成速度约 32 tok/s。判定、获取、校验、启动、对话、实测这一整套动作，确实可以由一个工具串起来。

注意事项

「装得下」不等于「用得顺」

判定中的「偏慢（slow）」意味着模型能启动，但达不到实用速度。例如在内存 16 GB、无独立 GPU 的 Windows 笔记本上，8B 级模型普遍被判为「偏慢」，估算速度约 3～7 tok/s，llama3.1:8b 会单独提示「偏慢、低于舒适线（约 5.3 tok/s）」；能判为「能跑」的主要是 3B 以下的小模型。而在「RTX 4060（8 GB 显存）+ 32 GB 内存」的配置上，7B 级模型判为「能跑」，估算 32～68 tok/s，qwen3:8b 估算 32～60 tok/s，DeepSeek-R1 32B 则因显存不足被判为跑不动。Mac 的 16 GB 统一内存会被更宽松地计算，12B 级仍在射程内，gemma4:12b 估算 7～13 tok/s，13B 级则偏慢。判断时请把结论和速度估算放在一起看。

估算速度不是实测

recommend 与 can-run 显示的速度都是估算值，同一模型在不同环境下实测结果可能不同。判定「能不能装下」足够可靠，但不要把速度绝对值当作定论；关心的模型请 up 之后用 bench 实测。

环境太弱时启动会被拦下

在可用内存几乎为零的机器上，doctor 会报告「可用内存 0.0 GiB」，recommend 会把全部 254 个模型判为「跑不动（内存不足）」，AI Hardware Score 只有 10/100，瓶颈标为显存。此时 up 也会以「该模型放不下」为由拒绝启动。这是安全优先的设计，需要时用 --bypass 显式跳过。

Ollama 存储位置被改过会导致校验失败

如果 Ollama 的模型保存目录不是默认位置，首次 up 可能因「找不到模型本体」而校验失败。把保存位置改回默认路径即可通过。用自定义配置运行 Ollama 的用户容易在这里卡一次。

最小模型只适合验证链路

gemma3:270m 这类极小模型可以确认流程通畅，但不适合实际写作任务：要求 30 字以内摘要时它守不住字数限制，内容也会走样。正确做法是在能装下的模型里选最大的那个，而这正是判定功能要帮你做的决定。

记忆功能需要额外模型

没有嵌入模型时，每次对话都会提示「未找到嵌入模型，将在没有记忆检索的情况下保存」。按提示补装 nomic-embed-text 即可解决。

模型目录并非全集

判定范围是随程序分发的 254 个模型（该目录有签名更新机制）。冷门模型或刚发布的模型可能不在其中，可以用 add 命令手动添加 Hugging Face 上的 GGUF 文件。

平台与界面限制

Linux 没有桌面应用，只能使用命令行与浏览器界面（rigspark gui）。界面只有英文，但输出格式固定，三档结论和原因不难辨认。图像与视频生成虽然也有入口，但实际处理依赖 ComfyUI 等外部工具，本教程涉及的只是文本模型的判定与运行。

费用与许可证

RigSpark 本体完全免费，没有付费计划。可能产生成本的是模型下载流量（从数百 MB 到数十 GB 不等，注意带宽上限）和本机运行的电费；Ollama、llama.cpp、LM Studio 等后端同样免费。模型本身的许可证各不相同（例如 Llama 系列使用社区许可），判定表中设有许可证一栏，考虑商用时应在此确认。具体价格、配额与许可证条款请以各项目官网当前信息为准。

数据与合规

本地执行意味着文本不会离开你的电脑，但这与所用模型的许可证、以及你所在组织的规定是两回事。处理工作内容前，请先确认所属机构的规则。