AB
AiBoss
Wiki

什么是分块并行Transformer(Blockwise Parallel Transformer)?

分块并行Transformer(Blockwise Parallel Transformer,BPT)是 Hao Liu 与 Pieter Abbeel 在 2023 年论文中提出的一种降低长序列训练显存开销的方法:它把自注意力与前馈网络做分块计算并融合,从而在保持显存效率的前提下处理更长的输入序列。

分块并行Transformer(Blockwise Parallel Transformer,BPT)是一种面向长上下文模型的显存优化方法。按 arXiv 论文《Blockwise Parallel Transformer for Large Context Models》的表述,它通过对自注意力(self-attention)与前馈网络(feedforward network)做分块计算并加以融合,来压低训练时的显存开销;其目标是让模型在保持显存效率的同时处理更长的输入序列。它要解决的问题是:Transformer 的自注意力机制与大型前馈网络带来的显存需求,限制了模型处理长序列的能力,进而给涉及多条长序列或长程依赖的任务造成困难。

为什么重要

论文指出,Transformer 已成为当时自然语言处理模型的基础结构,并在大量 AI 应用中表现出色。但这一结构本身带有显存上的结构性负担:自注意力需要处理序列中位置与位置之间的关系,序列变长时这部分开销随之增长;前馈网络则是参数与中间激活占用的大头。两者叠加,使得单次能处理的序列长度受到硬件显存的硬约束。

这一约束在两类场景中尤其突出。其一是需要长程依赖的任务——模型必须看到足够远的上下文才能作出判断;其二是需要同时处理多条长序列的任务,例如批量处理多个长文档或多段轨迹。在 BPT 出现之前,常规做法是直接以原始形式(论文中称为 vanilla Transformer)训练,序列一长就超出显存;另一条路线是此前的各类显存高效方法,它们能缓解一部分压力,但可支持的序列长度仍有上限。论文给出的对比是:BPT 可训练的序列长度达到原始 Transformer 的 32 倍,并达到此前显存高效方法的至多 4 倍。这两个倍数出自该论文的摘要,属于作者报告的结果,而非独立复现的行业基准。

工作机制

按论文摘要的描述,BPT 的核心做法可以拆成两个要点,二者是配合关系而非彼此独立:

  • 自注意力的分块计算:不把整条长序列的注意力计算一次性铺开,而是按块(block)组织计算过程。分块的意义在于把中间结果的工作集限制在可控范围内,避免随序列长度线性甚至更快增长的显存占用一次性发生。
  • 与前馈网络的融合:把前馈网络的计算与上述分块流程结合处理,而不是让两者各自独立地产生并保留大块中间激活。论文把这一点表述为「self-attention and feedforward network fusion」,即注意力与前馈网络的融合。

论文将这一组合概括为「a distinct approach」,即一种有别于既有路线的做法,其直接目标是「minimize memory costs」,也就是把显存成本降到最低。需要说明的是,摘要层面给出的是方法定位与效果结论;具体的分块调度顺序、块大小的选择规则、反向传播时中间量如何重算等实现细节,属于论文正文内容,此处不做推测。

从通用机制角度看,这类方法的共同思路是把「一次算完」改成「分次算、算完即弃」,用额外的计算或调度换取显存占用的下降。BPT 的特殊之处在于它同时覆盖了注意力与前馈网络这两个显存大户,而不是只优化其中一处。

典型例子

论文摘要明确提到的实验场景有两类:

  • 语言建模(language modeling):用于检验方法在长序列语言任务上的显存表现与效果。
  • 强化学习任务(reinforcement learning):论文称在语言建模与强化学习任务上做了大量实验,用以说明 BPT 在降低显存需求与提升表现方面的有效性。

论文将这两类实验作为「the effectiveness of BPT」的证据。摘要没有给出具体的模型规模、数据集名称、序列长度数值或性能指标,因此这些内容不应被补写。可核实的量化结论只有前文提到的两个倍数关系:相对原始 Transformer 的 32 倍序列长度,以及相对此前显存高效方法的至多 4 倍。

该论文由 Hao Liu 与 Pieter Abbeel 撰写,2023 年 5 月 30 日提交第一版,2023 年 8 月 28 日更新至第三版,主题分类为计算与语言(cs.CL)与机器学习(cs.LG)。

边界与常见误解

第一,BPT 是训练侧的方法。论文的表述集中在「training sequences」与显存成本上,摘要并未声称它改变了模型结构本身或推理阶段的延迟特性。把它理解为一种新的注意力变体或新的模型架构,与论文的描述并不吻合——它更像是围绕既有 Transformer 组件的计算组织方式。

第二,32 倍与 4 倍这两个数字有明确的比较对象,不能脱离参照系引用。32 倍是相对原始 Transformer,4 倍是相对此前的显存高效方法,且是「up to」意义上的上限表述。把它们当作任意配置下都能达到的固定收益,属于对论文结论的过度推广。

第三,显存效率通常不是免费的。分块与融合意味着计算被重新组织,可能带来额外的计算开销或实现复杂度;论文摘要强调的是显存成本的降低与可处理序列的延长,并未给出吞吐或训练时间上的对比结论。因此不能据此推断它在所有硬件与批大小配置下都更快。

第四,论文的实验覆盖语言建模与强化学习两类任务,这并不等于该方法已在所有长序列场景中得到验证。对于超出论文实验设定的模型规模、序列长度或任务类型,其表现属于未在素材中说明的范围。

最后需要强调归属:上述关于方法动机、机制要点与效果倍数的说法,均来自该论文作者的表述,应理解为一项研究工作的主张与报告结果,而非已被广泛复现的行业共识。

参考资料