
用单张 RTX 显卡从零训练 64M 参数 LLM:minimind 预训练与 SFT 实操
用单张 RTX 显卡从零训练 64M 参数 LLM:minimind 预训练与 SFT 实操
以 minimind-3(64M 参数)为例,讲清在单张 16GB 显存显卡上跑通 Pretrain → SFT 全流程的准备工作、命令参数、数据规模、耗时对照与常见坑,包括 --from_weight 不读 --save_dir 这类容易卡住的细节。
minimind 是一个把 LLM 训练全流程用 PyTorch 原生实现的开放源码项目:Tokenizer、Pretrain、SFT、LoRA、DPO、PPO、GRPO、CISPO、Agent 方向的强化学习、蒸馏,都在里面,不依赖高层训练框架封装。它的默认小模型 minimind-3 是 64M 参数级别的 Decoder-Only Transformer,结构对齐 Qwen3 系配置(RoPE、RMSNorm、SwiGLU,q_heads=8、kv_heads=4),脚本默认 hidden_size=768、num_hidden_layers=8,启动日志会打印出 Model Params: 63.91M。项目以 Apache License 2.0 发布。
这篇教程要解决的问题很具体:在一张消费级显卡上,用官方默认配置和官方 mini 数据集,把 Pretrain 和 SFT 两段训练完整跑完,并知道每一步会花多久、会踩什么坑。适合手里有一张 16GB 显存显卡、想亲手把「从零训练一个能对话的小模型」走一遍的读者。需要提前说明的是:官方 README 给出的「约 2 小时完成」是按 RTX 3090 单卡测算的,换到别的显卡上时间会明显拉长,具体数字见下文实测对照。价格、配额、版本号等信息请以官网当前信息为准。
准备工作
硬件与软件环境
参考实测环境如下,可作为最低配置参考:
| 项目 | 内容 |
|---|---|
| GPU | NVIDIA GeForce RTX 5060 Ti 16GB |
| 操作系统 | Windows + WSL2(Linux 6.6) |
| Python / PyTorch | Python 3.12.3,torch 2.15.0+cu132 |
| minimind 版本 | commit 233d00fa |
显存方面,训练过程中 GPU 占用约 7.7GB(含训练前 0.9GB 的待机占用),16GB 显卡只用掉一半左右,因此 16GB 显存是够用的,瓶颈在算力而不在显存。CPU 也能跑通整条流水线,但只适合小数据量验证。
获取代码与数据
先把仓库克隆到本地并进入 trainer 目录,训练脚本都在这里。数据来自公开的 minimind_dataset 数据集,官方耗时基准用的就是其中的 pretrain_t2t_mini.jsonl 与 sft_t2t_mini.jsonl 两个文件,需要全量下载:
curl -L -o pretrain_t2t_mini.jsonl <pretrain_t2t_mini.jsonl 的下载地址>
curl -L -o sft_t2t_mini.jsonl <sft_t2t_mini.jsonl 的下载地址>
wc -l *.jsonl下载完成后核对行数与体积,实测结果如下:
pretrain_t2t_mini.jsonl:1,270,238 行,约 1,241,043,656 字节(约 1.2GB)sft_t2t_mini.jsonl:905,718 行,约 1,739,201,170 字节(约 1.7GB)
名字里带 mini,但 Pretrain 数据有约 127 万行、SFT 数据有约 91 万行,磁盘空间要预留 3GB 以上。
确认默认训练参数
在动手之前先了解脚本默认值,后面所有命令都基于这些默认值,只改 --epochs:
| 阶段 | 脚本 | 默认关键参数 |
|---|---|---|
| Pretrain | train_pretrain.py | batch_size 32、accumulation_steps 8、max_seq_len 340、lr 5e-4、bfloat16、2 epoch |
| SFT | train_full_sft.py | batch_size 16、max_seq_len 768、lr 1e-5、bfloat16、读取 ../out/pretrain_768.pth |
注意 Pretrain 脚本默认跑 2 个 epoch,而官方耗时基准是 1 个 epoch,所以需要显式传 --epochs 1。
操作步骤
第一步:跑 Pretrain
进入 trainer 目录,用官方默认值加 --epochs 1 启动:
cd trainer
python train_pretrain.py --epochs 1 --data_path ../dataset/pretrain_t2t_mini.jsonl训练日志会按间隔打印 loss 与进度,形如:
Epoch:[1/1](100/39695), loss: 7.5222, ...
Epoch:[1/1](39695/39695), loss: 2.0073, ...
WALL 9741.46 s总共 39,695 个 step,在 RTX 5060 Ti 16GB 上耗时 9,741 秒,即 2 小时 42 分。loss 从 step 100 的 7.52 降到最终 step 的 2.01;按每 4k step 采样,数值依次为 2.80 / 2.61 / 2.40 / 2.33 / 2.17 / 2.12 / 1.90 / 2.06 / 2.16,整体下降趋势明确,末段在 2.0 附近波动。
训练期间用 nvidia-smi 观察,GPU 利用率 99%,显存占用约 7.7GB,没有出现显存不足或报错中断。
第二步:跑 SFT
SFT 脚本默认从 ../out/pretrain_768.pth 读取上一步产出的权重,所以只要 Pretrain 用的是默认 --save_dir,直接启动即可:
python train_full_sft.py --epochs 1 --data_path ../dataset/sft_t2t_mini.jsonl日志形如:
Epoch:[1/1](100/56608), loss: 2.2343, ...
Epoch:[1/1](56608/56608), loss: 1.6899, ...
WALL 16607.99 s共 56,608 个 step,耗时 16,608 秒,即 4 小时 37 分。loss 从 2.23 降到 1.69,但 step 5,000 之后一直在 1.5~1.9 之间上下浮动,下降不如 Pretrain 阶段干净。
第三步:对比训练前后的生成结果
官方提供 eval_llm.py,可以用固定 8 道题自动评测:
echo 0 | python eval_llm.py --weight full_sft但它的每个 prompt 的 seed 是随机的,两次运行结果不可直接比较。要做前后对照,需要自己写一个固定 seed 的生成脚本,读取权重时区分是否 Pretrain 权重:
python gen_compare.py --weight_path out/pretrain_768.pth --is_pretrain 1
python gen_compare.py --weight_path out/full_sft_768.pth --is_pretrain 0生成参数保持一致:fp16、top_p=0.95、temperature=0.85,每个 prompt 固定 seed=42。对比结果见下一节。
第四步(可选):缩小数据量做 CPU 与 GPU 对照
如果只想验证流水线能否跑通,可以把数据截取到开头一小段:Pretrain 6,685 行(约为全量的 0.42%)、SFT 2,805 行(约 0.5%)。截取时用 HTTP Range 只下载前若干字节,再按行切分:
curl -L -r 0-5000000 -o pretrain_chunk.raw <pretrain_t2t_mini.jsonl 的下载地址>然后用同一套脚本、只改 --device 分别跑 CPU 与 GPU,其余参数保持一致:
python train_pretrain.py --epochs 2 --batch_size 8 --accumulation_steps 1 \
--max_seq_len 256 --num_workers 0 \
--data_path ../dataset/pretrain_t2t_mini_sample.jsonl \
--save_dir ../out --save_weight pretrain \
--log_interval 20 --save_interval 836 --device cuda:0SFT 阶段把 --max_seq_len 改为 384,其余同理。实测对照如下:
| 阶段 | CPU 4 核 | RTX 5060 Ti |
|---|---|---|
| Pretrain 2 epoch / 1,672 step | 约 62 分钟 | 124.5 秒 |
| Pretrain loss(step 20 → 最终) | 7.4156 → 4.0453 | 7.4153 → 4.0189 |
| SFT 2 epoch / 702 step | 约 38 分钟 | 64.7 秒 |
| SFT loss(step 20 → 最终) | 4.9916 → 3.5065 | 4.9991 → 3.5349 |
| 合计 | 约 1 小时 40 分 | 约 3 分 10 秒 |
结论很清楚:CPU 与 GPU 的 loss 曲线几乎一致,差别只在速度。流水线在 CPU 上能完整跑通,但全量数据用 CPU 训练不现实。
一个完整示例
下面把从零到能对话的最小路径串起来,全部使用官方默认配置,只额外指定 --epochs 1。
1. 准备目录与数据
git clone <minimind 仓库地址>
cd minimind
dataset_dir=./dataset
mkdir -p "$dataset_dir"
curl -L -o "$dataset_dir/pretrain_t2t_mini.jsonl" <pretrain_t2t_mini.jsonl 的下载地址>
curl -L -o "$dataset_dir/sft_t2t_mini.jsonl" <sft_t2t_mini.jsonl 的下载地址>
wc -l "$dataset_dir"/*.jsonl预期看到 1,270,238 行与 905,718 行两个数字。
2. 预训练
cd trainer
python train_pretrain.py --epochs 1 --data_path ../dataset/pretrain_t2t_mini.jsonl跑完后在 ../out/ 下得到 pretrain_768.pth。在 16GB 显存的消费级显卡上,这一步大约需要 2~3 小时;在 RTX 3090 上官方给出的参考值是约 1.21 小时。
3. 监督微调
python train_full_sft.py --epochs 1 --data_path ../dataset/sft_t2t_mini.jsonl脚本会自动读取上一步的 ../out/pretrain_768.pth,产出 full_sft_768.pth。这一步在消费级显卡上耗时明显长于预训练,实测约 4 小时 37 分,官方 RTX 3090 参考值约 1.10 小时。
4. 验证效果
python gen_compare.py --weight_path out/pretrain_768.pth --is_pretrain 1
python gen_compare.py --weight_path out/full_sft_768.pth --is_pretrain 0以「你有什么特长?」为例,Pretrain 权重(不带聊天模板,纯续写)的回答是「我是一个AI语言模型,没有能力,我被设计和训练,没有亲身体验和感受……」——句子通顺,但只是在续写,并没有在回答问题。其他问题甚至会出现以「?」「。」「菜谱。」开头的情况,说明模型只是接着 prompt 往下写。
SFT 之后,同一个问题的回答变成「我是MiniMind,一个由jingyaogong创造的高效AI模型。我擅长处理复杂的计算任务,同时提供准确的回答和逻辑推理。」——进入了对话格式,自我介绍里也带上了模型名与作者名。
但知识类问题仍然不准。问「解释一下光合作用的基本过程」,SFT 后的回答格式规整、带编号小标题,内容却把光反应说成「原子核反应」;问火锅,回答里出现「以烤鸭和鸭肉为食」这类错误。也就是说,64M 参数加 1 个 epoch,学到的是回答的形式,不是事实的准确性。
另外,Pretrain 权重在回答做菜类问题时曾陷入「湘菜、湘菜、湘菜……」的重复循环,这与默认 repetition_penalty=1 有关。生成速度实测在 28~75 tok/s 之间。
注意事项
官方耗时是按 RTX 3090 测算的
把实测结果与官方参考值放在一起看:
| 阶段 | 官方(RTX 3090) | 实测(RTX 5060 Ti 16GB) | 倍数 |
|---|---|---|---|
| Pretrain 1 epoch | 约 1.21 h | 2 h 42 m(9,741 秒) | 约 2.2 倍 |
| SFT 1 epoch | 约 1.10 h | 4 h 37 m(16,608 秒) | 约 4.2 倍 |
| 合计 | 约 2.31 h | 7 h 19 m(26,349 秒) | 约 3.2 倍 |
所以「2 小时从零训练一个 LLM」要理解为「在 RTX 3090 级别显卡上」。换一张卡,同样的配置可能变成接近一整晚的工作量。SFT 阶段与官方差距比 Pretrain 更大,值得在排期时单独考虑。
--from_weight 不读 --save_dir
这是最容易卡住的一个坑。如果想把小数据实验的权重与全量训练隔开,用 --save_dir ../out_small 保存 Pretrain,然后这样启动 SFT:
python train_full_sft.py --save_dir ../out_small --from_weight pretrain会直接报错:
FileNotFoundError: ... '../out/pretrain_768.pth'原因是 train_full_sft.py 的 --from_weight 并不参考 --save_dir,而是固定从 trainer_utils.init_model() 中 save_dir 的默认值 ../out 读取权重。要换保存目录,必须先把 Pretrain 权重放到 ../out/ 下。按官方流程始终使用 ../out 的话不会遇到这个问题。
数据量直接决定输出质量
用缩小数据(Pretrain 约 0.42%、SFT 约 0.5%)训练出的权重,SFT 后同样能对「你有什么特长?」回答「我是由jingyaogong创建的……」,自我介绍格式是学到的;但问光合作用之类的问题,输出就变成与事实无关的词语堆叠。全量训练与缩小数据训练之间的差距,会原样体现在生成文本的质量上,不要指望小样本能复现全量效果。
评测脚本的随机性
eval_llm.py 每个 prompt 的 seed 是随机的,同一权重两次运行结果可能不同。做训练前后对比时,务必自己固定 seed,并保持 fp16、top_p、temperature 等生成参数一致,否则对比没有意义。
计时异常
在 WSL2 环境下,time.time() 可能出现时间回退,导致个别样本的耗时被算成负数(实测 SFT 后第 1 题出现 -0.54 秒)。这类数据应直接剔除,不要计入速度统计。
显存与中断风险
16GB 显存跑默认配置只占用约一半,没有出现 OOM。但训练总时长在消费级显卡上接近 7 小时以上,建议在稳定的电源与散热条件下运行,并留意保存间隔,避免中途中断后从头再来。模型结构、默认超参与数据规模如需调整,请以仓库当前版本的说明为准。