AB
AiBoss站
教程

Gemma

教程

在本地运行 Gemma 4:用 Ollama、LM Studio 与 MLX 部署并调用

面向想在本地跑大模型的开发者,讲清 Gemma 4 四个规格的取舍、用 Ollama 一条命令拉起模型并验证本地 API、用 LM Studio 图形界面下载与对话、在 Apple Silicon 上用 mlx-vlm 加速,以及按硬件配置选版本的对照方法。

Gemma 4 是谷歌 DeepMind 发布的开源大模型系列,采用 Apache 2.0 协议,可以下载、修改并用于商业场景。它最大的意义在于:不需要联网、不需要 API Key、不按 Token 计费,数据不出本机,就能在个人电脑上跑起来。这篇教程面向想在本地部署并调用 Gemma 4 的开发者与个人用户,讲清三件事:先按硬件选对规格,再用 Ollama 或 LM Studio 把模型跑起来,最后通过本地 API 或 Apple Silicon 上的 MLX 把它接进自己的程序。如果你只是想先了解这个模型家族的整体情况,可以先看 Gemma 的工具条目,再回到本文动手。

准备工作

先搞清楚 Gemma 4 不是单一模型

Gemma 4 是一个覆盖从手机到服务器的四档矩阵,每一档的有效参数、上下文长度、模态能力和硬件要求都不同。选错规格是新手最常见的浪费时间的环节,所以动手前先把这张表看一遍。

规格定位有效参数上下文模态量化后体积典型硬件
E2B极轻量·端侧2.3B128K图片 + 音频不到 3GB手机 / 树莓派
E4B轻量·笔记本4.5B128K多模态Ollama 量化约 9.6GB16GB 内存笔记本
26B MoE性价比之选总参数 252 亿,推理激活 38 亿256K—约 14–18GB16–24GB 显存独显
31B Dense旗舰·工作站全量 307 亿256K—约 20GB2× RTX 4090 或 A100 80G

普通开发者和个人用户,首选 E4B 或 26B MoE。E4B 几乎任何 16GB 内存的电脑都能跑;26B MoE 需要 16–24GB 显存的独立显卡,但它的推理速度接近 4B 模型,质量接近 31B,是四档里性价比最高的一档。31B Dense 是满血旗舰,适合有工作站或服务器资源的场景。

按硬件对号入座

如果还不确定自己该装哪一档,直接查下表。速度数字是社区给出的参考区间,实际表现受内存带宽、量化方式、上下文长度影响,会有明显浮动。

硬件配置推荐版本速度参考
手机 / 树莓派 5E2B约 7.6 t/s
16GB 内存笔记本E4B10–20 t/s
M4 MacBook Air 16GBE4B / 26B20–84 t/s
RTX 4090(24GB)26B MoE40+ t/s
A100 / H100 80GB31B Dense满血推理

没有独立显卡也没关系。CPU 推理虽然慢,但 E2B / E4B 的量化版在 32GB 内存的 Mac 上速度完全可接受。另外,31B 用 Q4_K_M 量化后,MMLU 只下降约 1.5–2 个百分点,日常问答几乎感知不到差异,所以不必因为「量化会掉点」而硬上全精度。

环境与账号

  • 操作系统:macOS、Windows、Linux 均可,三条路线都覆盖。
  • 磁盘空间:按上表预留。E4B 约 9.6GB,26B MoE 约 14–18GB,31B 约 20GB,下载过程中还会有临时占用,建议留出两倍余量。
  • 网络:仅下载模型时需要,下载完成后可完全离线运行。
  • 账号与密钥:本地运行不需要任何账号或 API Key,这是它和云端 API 最大的区别。
  • 命令行工具:Ollama 路线需要终端;LM Studio 路线全程图形界面,不需要命令行。

操作步骤

路线一:Ollama(最快,一条命令拉起)

Ollama 是目前最省事的本地模型运行方案。装好之后一条命令就能拉起 Gemma 4,同时在 11434 端口暴露兼容 OpenAI 格式的 API,可以直接对接任何按 OpenAI 接口写的 AI 应用。

第一步:安装 Ollama

macOS / Linux 用安装脚本:

curl -fsSL https://ollama.com/install.sh | sh

Windows 则前往 Ollama 官网下载 .exe 安装包,双击安装即可。

第二步:拉取模型

按你的硬件从下面四条里选一条执行。注意默认 tag 指向的是 E4B,不是旗舰版。

# 默认 E4B,约 9.6GB,大多数人的首选
ollama pull gemma4

# E2B,2.3B 有效参数,极轻量
ollama pull gemma4:e2b

# 26B MoE,约 16GB,追求质量
ollama pull gemma4:26b

# 31B Dense,约 20GB,旗舰
ollama pull gemma4:31b

第三步:运行并对话

拉取完成后直接运行,进入交互式对话:

ollama run gemma4

想跑工作站版本,必须明确指定 tag,例如 ollama run gemma4:26b。只写 gemma4 会加载 E4B。

第四步:验证本地 API

Ollama 启动后会在 11434 端口提供兼容 OpenAI 格式的接口。用一条 curl 确认服务正常:

curl http://localhost:11434/api/generate \
  -d '{"model":"gemma4","prompt":"你好,介绍一下你自己"}'

返回 JSON 里能看到模型生成的文本,说明本地 API 已经可用。之后在代码里把 base_url 指向 http://localhost:11434,就能像调用云端服务一样调用本地模型。

第五步:查看本地已有模型

ollama list

这条命令会列出已经下载到本地的所有模型及其 tag 和体积,用来确认自己到底装了哪一档,避免误以为装的是 26B 实际却是 E4B。

路线二:LM Studio(图形界面,零门槛)

如果看到命令行就头皮发麻,LM Studio 是更合适的选择。它提供桌面 GUI,找模型、下载、对话全靠点击,内置类似 ChatGPT 的对话界面。

第一步:安装 LM Studio

前往 LM Studio 官网,下载对应系统版本(macOS / Windows / Linux),安装后打开。

第二步:搜索并下载 Gemma 4

点击左侧的「发现」(Discover)按钮,在搜索框输入 gemma4,找到 E4B 的 Q4 量化版本点击下载。量化档位推荐选 Q4_K_M,它在体积和质量之间比较平衡,也是社区最常用的默认选择。

第三步:加载并开始对话

下载完成后,点击左侧「对话」图标,在顶部下拉菜单里选择刚下载的 Gemma 4,即可开始对话。体验和网页版聊天工具一致,区别只是模型跑在你自己的机器上。

第四步(可选):开启本地 API 服务器

点击左侧「开发者」图标,启动本地服务器,默认端口是 1234。之后在自己的代码里通过 OpenAI 兼容 API 调用 Gemma 4,写法和调用云端 API 完全一样,只需要把 base_url 改成 http://localhost:1234/v1。

路线三:Apple Silicon 上的 MLX 加速

如果你用的是 M 系列芯片的 Mac(M1 / M2 / M3 / M4),有一个专属工具能让速度明显提升:mlx-vlm。它在发布当天就同步支持了 Gemma 4 全系列,社区也很快上传了大量量化版本。搭配 TurboQuant KV 缓存压缩,KV 缓存内存占用可以从 13.3GB 压到 4.9GB,减少约 63%,实测速度可达 84+ Tokens/s。

第一步:安装

pip install mlx-vlm

第二步:运行 4-bit 量化版 E4B

python -m mlx_vlm.generate \
  --model mlx-community/gemma-4-e4b-it-4bit \
  --prompt "帮我解释一下 Java 中 ThreadLocal 的内存模型"

把 --prompt 换成你自己的问题即可。模型标识里的 4bit 表示量化位宽,想换其他量化档位就替换对应的模型名。

一个完整示例

下面走一遍从零到可编程调用的最小闭环,以 16GB 内存笔记本跑 E4B 为例。

1. 安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

2. 拉取默认的 E4B 模型

ollama pull gemma4

下载约 9.6GB,视网络情况需要等待一段时间。

3. 确认模型已就位

ollama list

输出中应能看到 gemma4 这一行及其体积,确认 tag 与预期一致。

4. 先做一次交互式对话,确认模型能正常生成

ollama run gemma4

在提示符后输入一句测试问题,看到正常回复后按 Ctrl+D 或输入 /bye 退出。

5. 用 API 方式调用,模拟程序接入

curl http://localhost:11434/api/generate \
  -d '{"model":"gemma4","prompt":"用三句话解释什么是量化","stream":false}'

返回的 JSON 中 response 字段就是模型输出。到这一步,本地模型已经可以像云端 API 一样被任何程序调用,后续只需把请求地址和模型名替换进你现有的代码。

6. 换成更高规格(可选)

如果机器有 16–24GB 显存的独立显卡,把第 2 步换成 ollama pull gemma4:26b,第 4、5 步里的模型名同步改成 gemma4:26b,其余流程不变。

注意事项

  • 默认 tag 不是旗舰版。Ollama 里 gemma4 默认指向 E4B(约 9.6GB)。想跑 26B 或 31B 必须显式写 gemma4:26b、gemma4:31b,否则会以为自己在跑大模型,实际跑的是轻量版。
  • 量化档位影响体积与质量。LM Studio 里推荐 Q4_K_M;31B 用 Q4_K_M 后 MMLU 下降约 1.5–2 个百分点,日常使用基本无感。追求极限质量再考虑更高位宽,但要相应增加内存与显存预算。
  • 端口要记清。Ollama 的本地 API 在 11434 端口,LM Studio 的本地服务器默认在 1234 端口,两者不冲突,可以同时开。
  • 26B MoE 的硬件门槛。它需要 16–24GB 显存的独立显卡;显存不足时会退化到 CPU 或内存,速度会明显下降。
  • 31B Dense 不是普通笔记本能扛的。建议 2× RTX 4090 或 A100 80G 级别的硬件,量化后约 20GB。
  • MLX 路线仅限 Apple Silicon。mlx-vlm 面向 M 系列芯片,其他平台请走 Ollama 或 LM Studio。
  • 许可与商用。Gemma 4 采用 Apache 2.0 协议,允许商用、修改再分发,也允许用于微调和合成数据生成。但具体条款与合规要求请以官方当前发布的许可文本为准。
  • 版本、体积、速度等数字会随发布更新变化。本文引用的参数与体积来自发布时的公开信息,实际下载前请以官网和各工具当前显示的模型信息为准。