AB
AiBoss站
教程

StableVicuna

教程

用 StableVicuna-13B 增量权重合成可对话模型并跑通推理

StableVicuna-13B 以增量(delta)权重形式发布,不能直接加载。本文说明如何准备 LLaMA 13B 基础权重、用 apply_delta.py 合成完整模型、安装指定版本的 transformers,并给出可跑通的对话推理脚本与参数说明,同时整理许可、语言与已知局限。

StableVicuna-13B 是在 Vicuna-13B v0 基础上,用基于人类反馈的强化学习(RLHF,具体算法为 PPO)在多种对话与指令数据集上继续微调得到的自回归语言模型,面向以对话为主的文本生成任务。它最容易被忽略的一点是:公开发布的权重是增量(delta)权重,单独下载下来无法直接加载。必须把 LLaMA 13B 与这份 delta 权重之间的差值加回去,才能得到一个完整的、可被 transformers 加载的模型目录。这篇教程就围绕这条链路展开:准备基础权重、执行合成脚本、安装匹配的 transformers 版本、写出第一段对话推理代码,最后说明许可与使用边界。如果你只是想先了解这类模型的整体定位,可以先看 StableVicuna 的工具条目,再回到本文动手。

准备工作

你需要先拿到的东西

整个流程涉及两类权重,缺一不可:

  • LLaMA 13B 基础权重:这是 StableVicuna 的底座。它的权重遵循 Meta 的非商业定制许可,需要你自行按该许可的条款获取,本文不提供获取途径。
  • CarperAI/stable-vicuna-13b-delta 增量权重:这是微调产生的差值部分,许可为 CC-BY-NC-SA-4.0。

此外还需要:

  • Python 3 环境,以及能安装 PyTorch 与 transformers 的 pip。
  • 一块可用的 CUDA 显卡。13B 参数量的模型以半精度加载也需要可观的显存,素材没有给出具体显存门槛,请按自己环境的实际情况评估。
  • 足够的磁盘空间,用于同时存放基础权重、delta 权重和合成后的完整模型。

关于许可的前置提醒

在动手之前先把许可看清楚,可以避免后面白忙:delta 权重采用 CC-BY-NC-SA-4.0,基础 LLaMA 权重采用 Meta 的非商业定制许可。两者都指向非商业用途。素材明确写到,用户可以在遵守非商业许可的前提下,用自己的数据继续微调模型以提升特定任务表现。任何商业场景的可行性,请以许可原文与官方当前说明为准。

模型的基本规格

了解下面这组结构参数,有助于判断显存与加载方式是否合适:

超参数取值
参数量13B
d_model5120
层数40
注意力头数40

模型类型为基于 LLaMA transformer 架构的自回归语言模型,训练语言为英语,训练所用库为 trlX。

操作步骤

第一步:理解「加回差值」这件事

StableVicuna-13B 的发布方式不是一份完整权重,而是一份 delta。原因很直接:完整权重的分发受基础模型许可约束,而 delta 只承载微调带来的变化量。因此正确的还原方式是:

完整模型权重 = LLaMA 13B 权重 + (StableVicuna delta 权重 − LLaMA 13B 权重)

这个加法不是手工做的,官方提供了 apply_delta.py 脚本自动完成转换。你不需要自己写合并逻辑,但需要理解它的三个输入分别是什么。

第二步:运行 apply_delta.py 合成完整模型

脚本的调用形式如下:

python3 apply_delta.py \
  --base /path/to/model_weights/llama-13b \
  --target stable-vicuna-13b \
  --delta CarperAI/stable-vicuna-13b-delta

三个参数的含义:

  • --base:本地 LLaMA 13B 权重所在目录的路径。
  • --target:合成后的完整模型输出到哪里。上面示例用的是相对目录名 stable-vicuna-13b,实际使用时建议写成一个明确的、空间充足的路径。
  • --delta:增量权重的来源,示例中直接写模型仓库标识 CarperAI/stable-vicuna-13b-delta。

执行完成后,--target 指向的目录里就是一份可以被 transformers 正常加载的完整模型。后续所有推理代码都指向这个目录,而不是 delta 仓库。

第三步:安装匹配版本的 transformers

这一步很容易被跳过,但素材特别提到:沿用 Vicuna v0 时期的建议,需要安装指定版本的 transformers,安装方式是从源码仓库安装,而不是直接 pip install transformers 拿最新版。素材中给出的命令形式为:

pip install git+

这里的具体仓库地址与版本号在素材中已被截断,无法确认。请以官方当前给出的安装命令为准,不要凭猜测拼接地址。安装完成后可以用 pip show transformers 确认实际装上的版本。

第四步:加载模型并做第一次对话

模型加载本身很直接,用 AutoTokenizer 与 AutoModelForCausalLM 从合成后的目录读取即可,然后把模型转成半精度并搬到 GPU 上:

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("path/to/stable-vicuna-13b-applied")
model = AutoModelForCausalLM.from_pretrained("path/to/stable-vicuna-13b-applied")
model.half().cuda()

注意 from_pretrained 里的路径要换成你第二步 --target 实际生成的目录。两个加载调用用的是同一个路径。

第五步:按约定的对话格式构造 prompt

StableVicuna 是对话模型,输入需要遵循它训练时使用的角色标记格式:人类发言以 ### Human: 开头,助手回复以 ### Assistant: 开头。下面是一个完整可用的示例:

prompt = """
### Human: Write a Python script for text classification using Transformers and PyTorch
### Assistant:
"""

inputs = tokenizer(prompt, return_tensors='pt').to('cuda')
tokens = model.generate(
    **inputs,
    max_new_tokens=256,
    do_sample=True,
    temperature=1.0,
    top_p=1.0,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))

几个关键点:

  • prompt 结尾停在 ### Assistant: 之后,让模型接着往下写,而不是自己把助手的话也写进去。
  • return_tensors='pt' 得到 PyTorch 张量,随后 .to('cuda') 与模型放在同一设备上。
  • skip_special_tokens=True 在解码时去掉特殊标记,输出更干净。

第六步:调整生成参数

上面示例用的是采样式生成:do_sample=True、temperature=1.0、top_p=1.0、max_new_tokens=256。这组值偏向多样性,同一问题多次提问会得到不同回答。如果你希望输出更稳定,可以调低 temperature;如果希望回答更长,就调大 max_new_tokens,同时留意显存与耗时。

作为参考,模型在 RLHF 训练阶段使用的生成配置是:max_length 512、min_length 48、top_k 0.0、top_p 1.0、do_sample True、temperature 1.0。训练配置不等于推理时的推荐配置,但可以说明这套采样参数与模型的训练分布是接近的。

一个完整示例

把上面的步骤串起来,从零到一次可运行的对话,完整流程如下。

1. 准备目录结构。假设基础权重放在 /data/models/llama-13b,合成结果输出到 /data/models/stable-vicuna-13b。

2. 执行合成。

python3 apply_delta.py \
  --base /data/models/llama-13b \
  --target /data/models/stable-vicuna-13b \
  --delta CarperAI/stable-vicuna-13b-delta

3. 安装匹配的 transformers。按官方当前给出的源码安装命令执行,装完后确认版本。

4. 编写推理脚本 chat.py:

from transformers import AutoTokenizer, AutoModelForCausalLM

MODEL_PATH = "/data/models/stable-vicuna-13b"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH)
model.half().cuda()

prompt = """
### Human: Write a Python script for text classification using Transformers and PyTorch
### Assistant:
"""

inputs = tokenizer(prompt, return_tensors='pt').to('cuda')
tokens = model.generate(
    **inputs,
    max_new_tokens=256,
    do_sample=True,
    temperature=1.0,
    top_p=1.0,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))

5. 运行。

python3 chat.py

输出会包含你输入的 prompt 原文以及模型续写的内容,因为解码是对整个序列做的。如果只想看模型生成的部分,可以在解码前按输入长度切掉前缀。

6. 换成自己的问题。把 ### Human: 后面的句子替换成你要问的内容即可,格式保持不变。多轮对话时,按同样的角色标记把历史轮次依次拼接进 prompt。

注意事项

不能直接加载 delta 权重

这是最容易踩的坑。直接把 CarperAI/stable-vicuna-13b-delta 传给 from_pretrained 是拿不到可用模型的,必须先完成 delta 合成。任何跳过 apply_delta.py 的做法都不成立。

transformers 版本要匹配

素材明确要求按 Vicuna v0 时期的建议安装指定版本的 transformers,而不是用最新版。版本不匹配可能导致加载或生成行为异常。具体版本号与安装地址请以官方当前信息为准。

许可与用途限制

delta 权重为 CC-BY-NC-SA-4.0,基础 LLaMA 权重为 Meta 的非商业定制许可,两者都限制在非商业用途。素材中提到的继续微调,也明确要求遵守非商业许可。许可条款可能更新,实际使用前请核对官方当前说明。

语言与任务范围

模型训练语言为英语,定位是面向对话的文本生成。用它处理其他语言或非对话类任务,效果没有保证。

偏见与有害内容

基础 LLaMA 模型训练数据中可能包含冒犯性、有害和带偏见的内容,从而引发有毒输出。素材还指出,并没有针对「在上述数据集上微调会如何影响模型行为与毒性」做过研究。因此不能把模型的对话回复当作人类判断的替代品,也不能当作事实来源。请负责任地使用。

训练数据构成

了解微调数据有助于判断模型的能力边界。StableVicuna-13B 在三份数据上做了微调:

  • OpenAssistant Conversations Dataset (OASST1):人工生成、人工标注的助手风格对话语料,包含分布在 66,497 个对话树中的 161,443 条消息,覆盖 35 种语言。
  • GPT4All Prompt Generations:由 GPT-4 生成的 40 万条 prompt 与回复。
  • Alpaca:由 OpenAI 的 text-davinci-003 引擎生成的 52,000 条指令与示例。

RLHF 阶段使用的奖励模型同样训练在 OASST1 上,另外还用了两份数据:Anthropic HH-RLHF(关于 AI 助手有用性与无害性的偏好数据),以及 Stanford Human Preferences Dataset(覆盖从烹饪到法律建议等 18 个主题领域的 38.5 万条人类对回答的偏好数据)。

训练超参数参考

如果你打算复现或继续训练,下面这组 PPO 配置可以作为起点:

超参数取值
num_rollouts128
chunk_size16
ppo_epochs4
init_kl_coef0.1
target6
horizon10000
gamma1
lam0.95
cliprange0.2
cliprange_value0.2
vf_coef1.0
scale_rewardNone
cliprange_reward10

训练过程通过 trlX 中实现的 PPO 完成。这些数值属于训练侧信息,日常推理不需要设置。

易变信息以官网为准

模型版本、权重发布形式、许可条款、依赖库版本都可能随时间变化。本文涉及的具体版本与安装方式,请以官方当前信息为准。