AB
AiBoss站
教程

用单张 RTX 显卡从零训练 64M 参数 LLM:minimind 预训练与 SFT 实操

教程

用单张 RTX 显卡从零训练 64M 参数 LLM:minimind 预训练与 SFT 实操

以 minimind-3(64M 参数)为例,讲清在单张 16GB 显存显卡上跑通 Pretrain → SFT 全流程的准备工作、命令参数、数据规模、耗时对照与常见坑,包括 --from_weight 不读 --save_dir 这类容易卡住的细节。

minimind 是一个把 LLM 训练全流程用 PyTorch 原生实现的开放源码项目:Tokenizer、Pretrain、SFT、LoRA、DPO、PPO、GRPO、CISPO、Agent 方向的强化学习、蒸馏,都在里面,不依赖高层训练框架封装。它的默认小模型 minimind-3 是 64M 参数级别的 Decoder-Only Transformer,结构对齐 Qwen3 系配置(RoPE、RMSNorm、SwiGLU,q_heads=8、kv_heads=4),脚本默认 hidden_size=768、num_hidden_layers=8,启动日志会打印出 Model Params: 63.91M。项目以 Apache License 2.0 发布。

这篇教程要解决的问题很具体:在一张消费级显卡上,用官方默认配置和官方 mini 数据集,把 Pretrain 和 SFT 两段训练完整跑完,并知道每一步会花多久、会踩什么坑。适合手里有一张 16GB 显存显卡、想亲手把「从零训练一个能对话的小模型」走一遍的读者。需要提前说明的是:官方 README 给出的「约 2 小时完成」是按 RTX 3090 单卡测算的,换到别的显卡上时间会明显拉长,具体数字见下文实测对照。价格、配额、版本号等信息请以官网当前信息为准。

准备工作

硬件与软件环境

参考实测环境如下,可作为最低配置参考:

项目内容
GPUNVIDIA GeForce RTX 5060 Ti 16GB
操作系统Windows + WSL2(Linux 6.6)
Python / PyTorchPython 3.12.3,torch 2.15.0+cu132
minimind 版本commit 233d00fa

显存方面,训练过程中 GPU 占用约 7.7GB(含训练前 0.9GB 的待机占用),16GB 显卡只用掉一半左右,因此 16GB 显存是够用的,瓶颈在算力而不在显存。CPU 也能跑通整条流水线,但只适合小数据量验证。

获取代码与数据

先把仓库克隆到本地并进入 trainer 目录,训练脚本都在这里。数据来自公开的 minimind_dataset 数据集,官方耗时基准用的就是其中的 pretrain_t2t_mini.jsonl 与 sft_t2t_mini.jsonl 两个文件,需要全量下载:

curl -L -o pretrain_t2t_mini.jsonl <pretrain_t2t_mini.jsonl 的下载地址>
curl -L -o sft_t2t_mini.jsonl <sft_t2t_mini.jsonl 的下载地址>
wc -l *.jsonl

下载完成后核对行数与体积,实测结果如下:

  • pretrain_t2t_mini.jsonl:1,270,238 行,约 1,241,043,656 字节(约 1.2GB)
  • sft_t2t_mini.jsonl:905,718 行,约 1,739,201,170 字节(约 1.7GB)

名字里带 mini,但 Pretrain 数据有约 127 万行、SFT 数据有约 91 万行,磁盘空间要预留 3GB 以上。

确认默认训练参数

在动手之前先了解脚本默认值,后面所有命令都基于这些默认值,只改 --epochs:

阶段脚本默认关键参数
Pretraintrain_pretrain.pybatch_size 32、accumulation_steps 8、max_seq_len 340、lr 5e-4、bfloat16、2 epoch
SFTtrain_full_sft.pybatch_size 16、max_seq_len 768、lr 1e-5、bfloat16、读取 ../out/pretrain_768.pth

注意 Pretrain 脚本默认跑 2 个 epoch,而官方耗时基准是 1 个 epoch,所以需要显式传 --epochs 1。

操作步骤

第一步:跑 Pretrain

进入 trainer 目录,用官方默认值加 --epochs 1 启动:

cd trainer
python train_pretrain.py --epochs 1 --data_path ../dataset/pretrain_t2t_mini.jsonl

训练日志会按间隔打印 loss 与进度,形如:

Epoch:[1/1](100/39695), loss: 7.5222, ...
Epoch:[1/1](39695/39695), loss: 2.0073, ...
WALL 9741.46 s

总共 39,695 个 step,在 RTX 5060 Ti 16GB 上耗时 9,741 秒,即 2 小时 42 分。loss 从 step 100 的 7.52 降到最终 step 的 2.01;按每 4k step 采样,数值依次为 2.80 / 2.61 / 2.40 / 2.33 / 2.17 / 2.12 / 1.90 / 2.06 / 2.16,整体下降趋势明确,末段在 2.0 附近波动。

训练期间用 nvidia-smi 观察,GPU 利用率 99%,显存占用约 7.7GB,没有出现显存不足或报错中断。

第二步:跑 SFT

SFT 脚本默认从 ../out/pretrain_768.pth 读取上一步产出的权重,所以只要 Pretrain 用的是默认 --save_dir,直接启动即可:

python train_full_sft.py --epochs 1 --data_path ../dataset/sft_t2t_mini.jsonl

日志形如:

Epoch:[1/1](100/56608), loss: 2.2343, ...
Epoch:[1/1](56608/56608), loss: 1.6899, ...
WALL 16607.99 s

共 56,608 个 step,耗时 16,608 秒,即 4 小时 37 分。loss 从 2.23 降到 1.69,但 step 5,000 之后一直在 1.5~1.9 之间上下浮动,下降不如 Pretrain 阶段干净。

第三步:对比训练前后的生成结果

官方提供 eval_llm.py,可以用固定 8 道题自动评测:

echo 0 | python eval_llm.py --weight full_sft

但它的每个 prompt 的 seed 是随机的,两次运行结果不可直接比较。要做前后对照,需要自己写一个固定 seed 的生成脚本,读取权重时区分是否 Pretrain 权重:

python gen_compare.py --weight_path out/pretrain_768.pth --is_pretrain 1
python gen_compare.py --weight_path out/full_sft_768.pth --is_pretrain 0

生成参数保持一致:fp16、top_p=0.95、temperature=0.85,每个 prompt 固定 seed=42。对比结果见下一节。

第四步(可选):缩小数据量做 CPU 与 GPU 对照

如果只想验证流水线能否跑通,可以把数据截取到开头一小段:Pretrain 6,685 行(约为全量的 0.42%)、SFT 2,805 行(约 0.5%)。截取时用 HTTP Range 只下载前若干字节,再按行切分:

curl -L -r 0-5000000 -o pretrain_chunk.raw <pretrain_t2t_mini.jsonl 的下载地址>

然后用同一套脚本、只改 --device 分别跑 CPU 与 GPU,其余参数保持一致:

python train_pretrain.py --epochs 2 --batch_size 8 --accumulation_steps 1 \
  --max_seq_len 256 --num_workers 0 \
  --data_path ../dataset/pretrain_t2t_mini_sample.jsonl \
  --save_dir ../out --save_weight pretrain \
  --log_interval 20 --save_interval 836 --device cuda:0

SFT 阶段把 --max_seq_len 改为 384,其余同理。实测对照如下:

阶段CPU 4 核RTX 5060 Ti
Pretrain 2 epoch / 1,672 step约 62 分钟124.5 秒
Pretrain loss(step 20 → 最终)7.4156 → 4.04537.4153 → 4.0189
SFT 2 epoch / 702 step约 38 分钟64.7 秒
SFT loss(step 20 → 最终)4.9916 → 3.50654.9991 → 3.5349
合计约 1 小时 40 分约 3 分 10 秒

结论很清楚:CPU 与 GPU 的 loss 曲线几乎一致,差别只在速度。流水线在 CPU 上能完整跑通,但全量数据用 CPU 训练不现实。

一个完整示例

下面把从零到能对话的最小路径串起来,全部使用官方默认配置,只额外指定 --epochs 1。

1. 准备目录与数据

git clone <minimind 仓库地址>
cd minimind
dataset_dir=./dataset
mkdir -p "$dataset_dir"
curl -L -o "$dataset_dir/pretrain_t2t_mini.jsonl" <pretrain_t2t_mini.jsonl 的下载地址>
curl -L -o "$dataset_dir/sft_t2t_mini.jsonl" <sft_t2t_mini.jsonl 的下载地址>
wc -l "$dataset_dir"/*.jsonl

预期看到 1,270,238 行与 905,718 行两个数字。

2. 预训练

cd trainer
python train_pretrain.py --epochs 1 --data_path ../dataset/pretrain_t2t_mini.jsonl

跑完后在 ../out/ 下得到 pretrain_768.pth。在 16GB 显存的消费级显卡上,这一步大约需要 2~3 小时;在 RTX 3090 上官方给出的参考值是约 1.21 小时。

3. 监督微调

python train_full_sft.py --epochs 1 --data_path ../dataset/sft_t2t_mini.jsonl

脚本会自动读取上一步的 ../out/pretrain_768.pth,产出 full_sft_768.pth。这一步在消费级显卡上耗时明显长于预训练,实测约 4 小时 37 分,官方 RTX 3090 参考值约 1.10 小时。

4. 验证效果

python gen_compare.py --weight_path out/pretrain_768.pth --is_pretrain 1
python gen_compare.py --weight_path out/full_sft_768.pth --is_pretrain 0

以「你有什么特长?」为例,Pretrain 权重(不带聊天模板,纯续写)的回答是「我是一个AI语言模型,没有能力,我被设计和训练,没有亲身体验和感受……」——句子通顺,但只是在续写,并没有在回答问题。其他问题甚至会出现以「?」「。」「菜谱。」开头的情况,说明模型只是接着 prompt 往下写。

SFT 之后,同一个问题的回答变成「我是MiniMind,一个由jingyaogong创造的高效AI模型。我擅长处理复杂的计算任务,同时提供准确的回答和逻辑推理。」——进入了对话格式,自我介绍里也带上了模型名与作者名。

但知识类问题仍然不准。问「解释一下光合作用的基本过程」,SFT 后的回答格式规整、带编号小标题,内容却把光反应说成「原子核反应」;问火锅,回答里出现「以烤鸭和鸭肉为食」这类错误。也就是说,64M 参数加 1 个 epoch,学到的是回答的形式,不是事实的准确性。

另外,Pretrain 权重在回答做菜类问题时曾陷入「湘菜、湘菜、湘菜……」的重复循环,这与默认 repetition_penalty=1 有关。生成速度实测在 28~75 tok/s 之间。

注意事项

官方耗时是按 RTX 3090 测算的

把实测结果与官方参考值放在一起看:

阶段官方(RTX 3090)实测(RTX 5060 Ti 16GB)倍数
Pretrain 1 epoch约 1.21 h2 h 42 m(9,741 秒)约 2.2 倍
SFT 1 epoch约 1.10 h4 h 37 m(16,608 秒)约 4.2 倍
合计约 2.31 h7 h 19 m(26,349 秒)约 3.2 倍

所以「2 小时从零训练一个 LLM」要理解为「在 RTX 3090 级别显卡上」。换一张卡,同样的配置可能变成接近一整晚的工作量。SFT 阶段与官方差距比 Pretrain 更大,值得在排期时单独考虑。

--from_weight 不读 --save_dir

这是最容易卡住的一个坑。如果想把小数据实验的权重与全量训练隔开,用 --save_dir ../out_small 保存 Pretrain,然后这样启动 SFT:

python train_full_sft.py --save_dir ../out_small --from_weight pretrain

会直接报错:

FileNotFoundError: ... '../out/pretrain_768.pth'

原因是 train_full_sft.py 的 --from_weight 并不参考 --save_dir,而是固定从 trainer_utils.init_model() 中 save_dir 的默认值 ../out 读取权重。要换保存目录,必须先把 Pretrain 权重放到 ../out/ 下。按官方流程始终使用 ../out 的话不会遇到这个问题。

数据量直接决定输出质量

用缩小数据(Pretrain 约 0.42%、SFT 约 0.5%)训练出的权重,SFT 后同样能对「你有什么特长?」回答「我是由jingyaogong创建的……」,自我介绍格式是学到的;但问光合作用之类的问题,输出就变成与事实无关的词语堆叠。全量训练与缩小数据训练之间的差距,会原样体现在生成文本的质量上,不要指望小样本能复现全量效果。

评测脚本的随机性

eval_llm.py 每个 prompt 的 seed 是随机的,同一权重两次运行结果可能不同。做训练前后对比时,务必自己固定 seed,并保持 fp16、top_p、temperature 等生成参数一致,否则对比没有意义。

计时异常

在 WSL2 环境下,time.time() 可能出现时间回退,导致个别样本的耗时被算成负数(实测 SFT 后第 1 题出现 -0.54 秒)。这类数据应直接剔除,不要计入速度统计。

显存与中断风险

16GB 显存跑默认配置只占用约一半,没有出现 OOM。但训练总时长在消费级显卡上接近 7 小时以上,建议在稳定的电源与散热条件下运行,并留意保存间隔,避免中途中断后从头再来。模型结构、默认超参与数据规模如需调整,请以仓库当前版本的说明为准。