
Gemma
在本地运行 Gemma 4:用 Ollama、LM Studio 与 MLX 部署并调用
面向想在本地跑大模型的开发者,讲清 Gemma 4 四个规格的取舍、用 Ollama 一条命令拉起模型并验证本地 API、用 LM Studio 图形界面下载与对话、在 Apple Silicon 上用 mlx-vlm 加速,以及按硬件配置选版本的对照方法。
Gemma 4 是谷歌 DeepMind 发布的开源大模型系列,采用 Apache 2.0 协议,可以下载、修改并用于商业场景。它最大的意义在于:不需要联网、不需要 API Key、不按 Token 计费,数据不出本机,就能在个人电脑上跑起来。这篇教程面向想在本地部署并调用 Gemma 4 的开发者与个人用户,讲清三件事:先按硬件选对规格,再用 Ollama 或 LM Studio 把模型跑起来,最后通过本地 API 或 Apple Silicon 上的 MLX 把它接进自己的程序。如果你只是想先了解这个模型家族的整体情况,可以先看 Gemma 的工具条目,再回到本文动手。
准备工作
先搞清楚 Gemma 4 不是单一模型
Gemma 4 是一个覆盖从手机到服务器的四档矩阵,每一档的有效参数、上下文长度、模态能力和硬件要求都不同。选错规格是新手最常见的浪费时间的环节,所以动手前先把这张表看一遍。
| 规格 | 定位 | 有效参数 | 上下文 | 模态 | 量化后体积 | 典型硬件 |
|---|---|---|---|---|---|---|
| E2B | 极轻量·端侧 | 2.3B | 128K | 图片 + 音频 | 不到 3GB | 手机 / 树莓派 |
| E4B | 轻量·笔记本 | 4.5B | 128K | 多模态 | Ollama 量化约 9.6GB | 16GB 内存笔记本 |
| 26B MoE | 性价比之选 | 总参数 252 亿,推理激活 38 亿 | 256K | — | 约 14–18GB | 16–24GB 显存独显 |
| 31B Dense | 旗舰·工作站 | 全量 307 亿 | 256K | — | 约 20GB | 2× RTX 4090 或 A100 80G |
普通开发者和个人用户,首选 E4B 或 26B MoE。E4B 几乎任何 16GB 内存的电脑都能跑;26B MoE 需要 16–24GB 显存的独立显卡,但它的推理速度接近 4B 模型,质量接近 31B,是四档里性价比最高的一档。31B Dense 是满血旗舰,适合有工作站或服务器资源的场景。
按硬件对号入座
如果还不确定自己该装哪一档,直接查下表。速度数字是社区给出的参考区间,实际表现受内存带宽、量化方式、上下文长度影响,会有明显浮动。
| 硬件配置 | 推荐版本 | 速度参考 |
|---|---|---|
| 手机 / 树莓派 5 | E2B | 约 7.6 t/s |
| 16GB 内存笔记本 | E4B | 10–20 t/s |
| M4 MacBook Air 16GB | E4B / 26B | 20–84 t/s |
| RTX 4090(24GB) | 26B MoE | 40+ t/s |
| A100 / H100 80GB | 31B Dense | 满血推理 |
没有独立显卡也没关系。CPU 推理虽然慢,但 E2B / E4B 的量化版在 32GB 内存的 Mac 上速度完全可接受。另外,31B 用 Q4_K_M 量化后,MMLU 只下降约 1.5–2 个百分点,日常问答几乎感知不到差异,所以不必因为「量化会掉点」而硬上全精度。
环境与账号
- 操作系统:macOS、Windows、Linux 均可,三条路线都覆盖。
- 磁盘空间:按上表预留。E4B 约 9.6GB,26B MoE 约 14–18GB,31B 约 20GB,下载过程中还会有临时占用,建议留出两倍余量。
- 网络:仅下载模型时需要,下载完成后可完全离线运行。
- 账号与密钥:本地运行不需要任何账号或 API Key,这是它和云端 API 最大的区别。
- 命令行工具:Ollama 路线需要终端;LM Studio 路线全程图形界面,不需要命令行。
操作步骤
路线一:Ollama(最快,一条命令拉起)
Ollama 是目前最省事的本地模型运行方案。装好之后一条命令就能拉起 Gemma 4,同时在 11434 端口暴露兼容 OpenAI 格式的 API,可以直接对接任何按 OpenAI 接口写的 AI 应用。
第一步:安装 Ollama
macOS / Linux 用安装脚本:
curl -fsSL https://ollama.com/install.sh | sh
Windows 则前往 Ollama 官网下载 .exe 安装包,双击安装即可。
第二步:拉取模型
按你的硬件从下面四条里选一条执行。注意默认 tag 指向的是 E4B,不是旗舰版。
# 默认 E4B,约 9.6GB,大多数人的首选
ollama pull gemma4
# E2B,2.3B 有效参数,极轻量
ollama pull gemma4:e2b
# 26B MoE,约 16GB,追求质量
ollama pull gemma4:26b
# 31B Dense,约 20GB,旗舰
ollama pull gemma4:31b
第三步:运行并对话
拉取完成后直接运行,进入交互式对话:
ollama run gemma4
想跑工作站版本,必须明确指定 tag,例如 ollama run gemma4:26b。只写 gemma4 会加载 E4B。
第四步:验证本地 API
Ollama 启动后会在 11434 端口提供兼容 OpenAI 格式的接口。用一条 curl 确认服务正常:
curl http://localhost:11434/api/generate \
-d '{"model":"gemma4","prompt":"你好,介绍一下你自己"}'
返回 JSON 里能看到模型生成的文本,说明本地 API 已经可用。之后在代码里把 base_url 指向 http://localhost:11434,就能像调用云端服务一样调用本地模型。
第五步:查看本地已有模型
ollama list
这条命令会列出已经下载到本地的所有模型及其 tag 和体积,用来确认自己到底装了哪一档,避免误以为装的是 26B 实际却是 E4B。
路线二:LM Studio(图形界面,零门槛)
如果看到命令行就头皮发麻,LM Studio 是更合适的选择。它提供桌面 GUI,找模型、下载、对话全靠点击,内置类似 ChatGPT 的对话界面。
第一步:安装 LM Studio
前往 LM Studio 官网,下载对应系统版本(macOS / Windows / Linux),安装后打开。
第二步:搜索并下载 Gemma 4
点击左侧的「发现」(Discover)按钮,在搜索框输入 gemma4,找到 E4B 的 Q4 量化版本点击下载。量化档位推荐选 Q4_K_M,它在体积和质量之间比较平衡,也是社区最常用的默认选择。
第三步:加载并开始对话
下载完成后,点击左侧「对话」图标,在顶部下拉菜单里选择刚下载的 Gemma 4,即可开始对话。体验和网页版聊天工具一致,区别只是模型跑在你自己的机器上。
第四步(可选):开启本地 API 服务器
点击左侧「开发者」图标,启动本地服务器,默认端口是 1234。之后在自己的代码里通过 OpenAI 兼容 API 调用 Gemma 4,写法和调用云端 API 完全一样,只需要把 base_url 改成 http://localhost:1234/v1。
路线三:Apple Silicon 上的 MLX 加速
如果你用的是 M 系列芯片的 Mac(M1 / M2 / M3 / M4),有一个专属工具能让速度明显提升:mlx-vlm。它在发布当天就同步支持了 Gemma 4 全系列,社区也很快上传了大量量化版本。搭配 TurboQuant KV 缓存压缩,KV 缓存内存占用可以从 13.3GB 压到 4.9GB,减少约 63%,实测速度可达 84+ Tokens/s。
第一步:安装
pip install mlx-vlm
第二步:运行 4-bit 量化版 E4B
python -m mlx_vlm.generate \
--model mlx-community/gemma-4-e4b-it-4bit \
--prompt "帮我解释一下 Java 中 ThreadLocal 的内存模型"
把 --prompt 换成你自己的问题即可。模型标识里的 4bit 表示量化位宽,想换其他量化档位就替换对应的模型名。
一个完整示例
下面走一遍从零到可编程调用的最小闭环,以 16GB 内存笔记本跑 E4B 为例。
1. 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh
2. 拉取默认的 E4B 模型
ollama pull gemma4
下载约 9.6GB,视网络情况需要等待一段时间。
3. 确认模型已就位
ollama list
输出中应能看到 gemma4 这一行及其体积,确认 tag 与预期一致。
4. 先做一次交互式对话,确认模型能正常生成
ollama run gemma4
在提示符后输入一句测试问题,看到正常回复后按 Ctrl+D 或输入 /bye 退出。
5. 用 API 方式调用,模拟程序接入
curl http://localhost:11434/api/generate \
-d '{"model":"gemma4","prompt":"用三句话解释什么是量化","stream":false}'
返回的 JSON 中 response 字段就是模型输出。到这一步,本地模型已经可以像云端 API 一样被任何程序调用,后续只需把请求地址和模型名替换进你现有的代码。
6. 换成更高规格(可选)
如果机器有 16–24GB 显存的独立显卡,把第 2 步换成 ollama pull gemma4:26b,第 4、5 步里的模型名同步改成 gemma4:26b,其余流程不变。
注意事项
- 默认 tag 不是旗舰版。Ollama 里
gemma4默认指向 E4B(约 9.6GB)。想跑 26B 或 31B 必须显式写gemma4:26b、gemma4:31b,否则会以为自己在跑大模型,实际跑的是轻量版。 - 量化档位影响体积与质量。LM Studio 里推荐 Q4_K_M;31B 用 Q4_K_M 后 MMLU 下降约 1.5–2 个百分点,日常使用基本无感。追求极限质量再考虑更高位宽,但要相应增加内存与显存预算。
- 端口要记清。Ollama 的本地 API 在 11434 端口,LM Studio 的本地服务器默认在 1234 端口,两者不冲突,可以同时开。
- 26B MoE 的硬件门槛。它需要 16–24GB 显存的独立显卡;显存不足时会退化到 CPU 或内存,速度会明显下降。
- 31B Dense 不是普通笔记本能扛的。建议 2× RTX 4090 或 A100 80G 级别的硬件,量化后约 20GB。
- MLX 路线仅限 Apple Silicon。
mlx-vlm面向 M 系列芯片,其他平台请走 Ollama 或 LM Studio。 - 许可与商用。Gemma 4 采用 Apache 2.0 协议,允许商用、修改再分发,也允许用于微调和合成数据生成。但具体条款与合规要求请以官方当前发布的许可文本为准。
- 版本、体积、速度等数字会随发布更新变化。本文引用的参数与体积来自发布时的公开信息,实际下载前请以官网和各工具当前显示的模型信息为准。