AB
AiBoss
Tutorials

百川大模型

Tutorials

用 Baichuan2-7B-Chat 完成本地推理与自定义数据微调

本文以 Baichuan2-7B-Chat 为例,讲清百川大模型的三种用法:在线对话服务、本地命令行与网页端推理、以及用自定义多轮对话数据微调基座模型。内容覆盖工程文件结构、环境安装、推理启动命令、训练数据格式与 DeepSpeed 微调参数,并列出显存、端口、量化精度等实际限制。

百川大模型是百川智能发布的开源可商用大规模预训练语言模型,基于 Transformer 解码器结构。Baichuan2 系列包含 7B 与 13B 两个参数规模,每个规模各有基座模型(Base)与聊天模型(Chat),聊天模型另有 4bits 量化版本。本文要解决的问题很具体:拿到 Baichuan2-7B-Chat 之后,怎样把它跑起来、怎样在浏览器里对话、以及怎样用自己整理的多轮对话数据微调出一个新的聊天模型。适合已经具备 Python 与 PyTorch 基础、手上有 GPU 机器、希望本地部署或做领域微调的开发者阅读。如果你只想先快速体验模型能力,也可以直接使用百川智能提供的在线对话服务,它支持联网搜索与文件上传,能对上传的 PDF 做总结并继续追问。站内也有对应的工具条目可供查阅:百川大模型。

准备工作

模型与工程文件

Baichuan2 的推理与微调都建议直接使用工程代码,而不是通过 AutoModelForCausalLM() 按模型名称自动下载加载。原因是百川的词元切分器、配置类与模型实现都放在工程内的独立模块里,直接导入这些模块才能保证行为一致。

以 Baichuan2-7B-Chat 为例,工程目录下通常包含以下 11 个文件,理解它们各自的作用有助于排查问题:

文件作用
config.json模型超参数配置,如多头数量、隐藏层数量等
tokenizer_config.json词元切分器的配置参数
special_tokens_map.json特殊词元的映射信息
generation_config.json推理超参数,如 temperature、top_k、top_p
tokenizer.model实例化的词表文件,保存原始语料对应的词表
tokenization_baichuan.py词元切分器 BaichuanTokenizer 的实现
configuration_baichuan.py配置类 BaichuanConfig 的实现
modeling_baichuan.py模型主体 BaichuanModel 的实现
generation_utils.py推理时对输入做预处理的功能模块
quantizer.py对模型参数做 4bits 或 8bits 量化的模块
pytorch_model.bin预训练权重文件,7B 版本约 15GB

下载完成后,需要把 pytorch_model.bin 放进工程下的 Baichuan2_7B_Chat 目录,与其余文件同级。权重文件体积较大,下载与拷贝都要预留足够的磁盘空间。

Python 环境与 PyTorch 版本

Baichuan2 用到了 PyTorch 2.0 中高效计算多头注意力的新特性,因此 PyTorch 版本必须不低于 2.0。工程提供了 requirements.txt,其中包含 78 个依赖包,按常规方式创建虚拟环境后安装即可:

conda create -n baichuan2 python=3.10 -y
conda activate baichuan2
pip install -r requirements.txt

安装完成后建议确认一下 PyTorch 版本与 CUDA 是否匹配,避免出现能导入但无法在 GPU 上运算的情况。

硬件与账号

7B 模型以 bf16 加载时权重本身约 15GB,推理还需要额外的显存存放激活值与 KV 缓存,因此单卡显存要留出余量;13B 版本对显存的要求更高。微调阶段因为要保存梯度和优化器状态,显存需求会明显大于推理,工程默认使用 DeepSpeed 与梯度检查点来缓解。在线服务则不需要本地硬件,注册账号后直接在网页中使用即可。具体可用区域、免费额度与付费方案请以官网当前信息为准。

操作步骤

第一步:在线体验,先确认模型能力边界

在投入本地部署之前,可以先用在线对话服务验证提示词效果。百川的在线服务除了普通对话,还支持联网搜索,可以直接就某个链接里的内容提问;文件上传功能也可用,上传 PDF 后可以让模型总结内容,并围绕文档继续追问。

一个可复用的测试提示词是:

请你解释一下什么是登月,需要注意的是生成结果的面向对象是一个6岁的儿童。

这类带明确受众约束的提示词能较快看出模型对指令的遵循程度。把同一个提示词分别交给不同模型,对比输出风格,是挑选模型时成本最低的做法。

第二步:启动命令行推理

激活前面创建好的虚拟环境,进入工程根目录,执行:

python cli_demo.py

大约 30 秒后模型加载完成,终端会出现提示信息,说明可用的交互指令:

欢迎使用百川大模型,输入进行对话,vim 多行输入,clear 清空历史,CTRL+C 中断生成,stream 开关流式生成,exit 结束。

随后直接输入问题即可:

用户:什么是深度学习?
Baichuan 2:

几个交互细节值得记住:vim 用于多行输入,适合粘贴较长的提示词;clear 清空对话历史,避免上下文越滚越长;stream 切换流式输出;CTRL+C 中断当前生成而不退出程序;exit 结束会话。

需要提醒的是,7B 版本在实测中可能出现生成十几个字之后开始输出无意义内容的情况。这通常与量化精度、生成参数或显存不足有关,可以先把 generation_config.json 中的 temperature、top_k、top_p 调回较保守的取值再试,或换用 13B 版本对比效果。

第三步:启动网页端对话服务

同样在工程根目录、激活虚拟环境后执行:

streamlit run web_demo.py

默认端口为 8502。如果端口被占用或需要对外开放,可以显式指定:

streamlit run web_demo.py --server.port 8888

启动约 30 秒后,终端会打印类似下面的信息:

You can now view your Streamlit app in your browser.

  Network URL:
  External URL:

在本地浏览器打开对应链接即可进入对话页面。如果模型跑在云服务器上,需要在云平台控制页的网络安全策略组里放行对应端口,否则链接打不开——这是本地能启动、外部却访问不了时最常见的原因。

第四步:准备微调数据

微调使用基座模型而不是聊天模型。工程目录 C08_Baichuan2FineTune 下有两个文件夹:Baichuan2_7B_Base 与 data。把下载好的基座模型文件放进 Baichuan2_7B_Base,训练数据放进 data。

数据格式为 JSON 数组,每个元素是一个样本,样本内的 conversations 字段保存多轮上下文,from 取 human 或 gpt,value 是对应内容:

[
  {
    "id": "27684",
    "conversations": [
      { "from": "human", "value": "你好,请问你能帮我查一下明天的天气吗?\n" },
      { "from": "gpt", "value": "当然,你在哪个城市呢?\n" },
      { "from": "human", "value": "我在上海。\n" },
      { "from": "gpt", "value": "根据天气预报,明天上海多云转阴气温在20到25摄氏度之间。需要查询其他信息吗?" }
    ]
  }
]

整理数据时有两点容易出错:一是每轮内容末尾的换行符要保留,与训练脚本的拼接方式保持一致;二是 from 的取值必须严格是 human 与 gpt,写成 user、assistant 会导致样本被跳过或报错。

第五步:执行 DeepSpeed 微调

数据就绪后,在微调工程目录下执行:

deepspeed fine_tune.py \
  --report_to "none" \
  --data_path "data/belle_chat_ramdon_10k.json" \
  --model_name_or_path "Baichuan2_7B_Base" \
  --output_dir "output" \
  --model_max_length 512 \
  --num_train_epochs 4 \
  --per_device_train_batch_size 16 \
  --gradient_accumulation_steps 1 \
  --save_strategy epoch \
  --learning_rate 2e-5 \
  --lr_scheduler_type constant \
  --adam_beta1 0.9 \
  --adam_beta2 0.98 \
  --adam_epsilon 1e-8 \
  --max_grad_norm 1.0 \
  --weight_decay 1e-4 \
  --warmup_ratio 0.0 \
  --logging_steps 1 \
  --gradient_checkpointing True \
  --deepspeed ds_config.json \
  --bf16 True

各参数的含义与调整方向如下:

  • --data_path:训练数据路径,换成自己整理好的 JSON 文件。
  • --model_name_or_path:基座模型目录,指向 Baichuan2_7B_Base。
  • --output_dir:微调结果的输出目录。
  • --model_max_length 512:单条样本截断长度,样本较长时需要调大,但会显著增加显存占用。
  • --num_train_epochs 4:训练轮数,数据量小时可适当增加,数据量大时减少。
  • --per_device_train_batch_size 16 与 --gradient_accumulation_steps 1:显存不足时把前者调小、后者调大,保持等效批大小。
  • --learning_rate 2e-5 与 --lr_scheduler_type constant:学习率与调度策略,微调场景下常从 2e-5 附近起步。
  • --save_strategy epoch:每个 epoch 保存一次检查点。
  • --gradient_checkpointing True:用计算换显存,长序列训练时建议开启。
  • --deepspeed ds_config.json:DeepSpeed 配置文件,多卡或显存紧张时依赖它做分片。
  • --bf16 True:使用 bfloat16 精度训练,需要显卡支持。

训练开始后控制台会按 --logging_steps 的频率打印日志,形如:

{'loss': 12.0625, 'learning_rate': 2e-05, 'epoch': 0.09}
{'loss': 12.1875, 'learning_rate': 2e-05, 'epoch': 0.09}
{'loss': 10.9888, 'learning_rate': 2e-05, 'epoch': 1.0}
100%|███████████████████████████████| 625/625 [01:21<00:00, 7.67it/s]

loss 从 12 左右起步并逐步下降属于正常现象;如果长时间不降,优先检查数据格式与学习率。

第六步:用微调结果替换推理模型

训练结束后,把 output 目录下持久化的模型文件替换掉 Baichuan2_7B_Chat 目录中的模型文件,再按第二步或第三步的方式启动,即可用微调后的模型对话。替换前建议先备份原始权重,方便回退对比。

一个完整示例

下面把从零到跑通的最小路径串一遍,假设使用单卡、Linux 环境、目标只是让 7B 聊天模型在浏览器里正常对话。

  1. 创建并激活环境,安装依赖:
    conda create -n baichuan2 python=3.10 -y
    conda activate baichuan2
    pip install -r requirements.txt
  2. 确认 PyTorch 版本不低于 2.0:
    python -c "import torch; print(torch.__version__)"
  3. 把 pytorch_model.bin 放入 Baichuan2_7B_Chat 目录,与 config.json、modeling_baichuan.py 等文件同级。
  4. 先用命令行验证模型能否正常生成:
    python cli_demo.py
    输入一个短问题,观察输出是否连贯。若出现乱码式输出,先调生成参数,再考虑换 13B 版本。
  5. 确认无误后启动网页服务:
    streamlit run web_demo.py --server.port 8888
  6. 在浏览器打开终端打印的地址。若部署在云服务器,到安全策略组放行 8888 端口。
  7. 需要定制能力时,再进入微调流程:准备 Baichuan2_7B_Base 与 data 目录,按标准格式整理对话数据,执行第五步的 deepspeed fine_tune.py 命令,训练完成后替换模型文件。

这条路径的好处是每一步都有可验证的结果:环境装好能导入、模型加载能对话、网页能打开、微调能出 loss。任何一步失败都能快速定位,不必等到最后才发现问题。

注意事项

  • 权重体积与磁盘:7B 权重约 15GB,下载、解压、拷贝各环节都要留足空间,微调时还会额外产生检查点。
  • PyTorch 版本下限:低于 2.0 无法使用模型依赖的高效注意力实现,不要试图降版本兼容。
  • 不要用 AutoModel 自动加载:百川的词元切分器与模型实现位于工程内的独立模块,按名称自动加载可能得到不一致的行为,应直接导入工程模块。
  • 端口与安全组:Streamlit 默认 8502,云服务器上必须放行对应端口,否则本地启动成功但外部无法访问。
  • 量化有精度损失:4bits 量化能显著降低参数量、计算量与内存消耗,但会带来一定精度损失,对输出质量敏感的场景应先用非量化版本对比。
  • 7B 的生成质量:实测中 7B 版本可能生成十几个字后开始输出无意义内容,可调整生成参数或改用 13B 版本。
  • 上下文长度:训练时最大长度为 4096,实际测试可扩展到 5000 以上,但更长输入会带来更高的显存与时间开销。
  • 微调数据格式:from 字段只接受 human 与 gpt,多轮对话要按顺序排列,换行符要与脚本预期一致。
  • 显存不足的处理顺序:先降 per_device_train_batch_size、升 gradient_accumulation_steps,再开梯度检查点,最后才考虑缩短 model_max_length。
  • 易变信息:模型版本、在线服务的可用功能、配额与价格均可能调整,使用前请以官网当前信息为准。