什么是长度外推（Length Extrapolation）？——让 Transformer 处理超出训练长度的序列

长度外推（Length Extrapolation）指模型在较短序列上完成训练后，能够泛化到比训练长度更长的推理序列上的能力。它要解决的问题是：基于 Transformer 的大语言模型（Large Language Model, LLM）普遍存在预设的长度上限，难以从短训练序列直接推广到长推理序列，从而无法处理超出训练长度的长序列。

为什么重要

基于 Transformer 的大语言模型因能力突出而受到广泛关注，但所有基于 Transformer 的模型（包括大语言模型）都受制于一个预设的长度限制。在训练阶段，模型只见过长度有限的序列；到了推理阶段，一旦输入 token 数超过预训练长度，模型就难以保持连贯的上下文处理与生成能力。换言之，它们不能进行长度外推以处理长序列。

在长度外推问题被系统研究之前，扩展上下文窗口的常见思路是用更长上下文的大规模模型进行训练，但这类做法开销昂贵。因此，研究者希望找到无需大规模重训练、就能让已有模型处理更长序列的方法。围绕这一目标，大量增强 Transformer 长度外推能力的方法相继出现，但此前仍缺乏系统性的综述。Zhao 等人的综述指出，位置编码（Positional Encoding, PE）被认为是影响长度外推的首要因素，并以此为统一视角梳理了相关进展。

工作机制

从位置编码视角看，长度外推的核心在于：模型如何为超出训练范围的位置分配位置表示，并使注意力机制在这些位置上仍然有效。综述将现有工作组织为以下几个层次。

可外推的位置编码：综述首先讨论本身具备外推潜力的位置编码方案，这类编码构成了该研究领域的主流基础。
基于可外推位置编码的外推方法：在具备外推潜力的编码之上，进一步衍生出多种外推方法，综述重点覆盖了位置插值（Position Interpolation）与随机位置方法（Randomized Position Methods）两类。
统一记号下的梳理：综述采用统一记号对上述方法进行归纳，以便比较不同方法在位置编码层面的差异。

另一条技术路线以旋转位置编码（Rotary Position Embedding, RoPE）的不同隐藏维度为切入点。Yi Lu 等人的论文提出维度级位置嵌入操纵（Dimension-Wise Positional Embeddings Manipulation, DPE），这是一种免训练（training-free）框架。其做法不是对所有维度一视同仁地操纵，而是检测每个维度的有效长度，找出对上下文扩展关键的维度；随后复用预训练模型原有的位置索引及其嵌入，仅将关键维度的位置索引操纵到其最有效长度。该论文称，这样能以最小改动调整预训练模型，同时让每个维度达到适合外推的最优状态。

典型例子

综述本身不提出新方法，而是对已有方法进行系统归类。它给出的典型方法类别包括位置插值与随机位置方法，二者都建立在可外推的位置编码之上。

DPE 论文给出了具体的实验对象与结果。该论文称，DPE 显著优于 YaRN 与 Self-Extend 等知名基线；在不进行持续训练的情况下，DPE 使 Llama3-8k 8B 支持 128k token 的上下文窗口，并能与 Flash Attention 2 无缝集成。该论文还称，DPE 能显著提升模型在训练长度内的表现，例如在流行的长上下文基准 RULER 上，Llama3.1 70B 提升超过 18 分；与商业模型相比，采用 DPE 的 Llama 3.1 70B 甚至取得了优于 GPT-4-128K 的表现。上述效果均为该论文的作者主张，尚未在本词条中独立复现。

边界与常见误解

长度外推不等于无限上下文。综述明确指出，所有基于 Transformer 的模型都存在预设长度限制，长度外推研究的目标是缓解而非消除这一限制；不同方法在超出训练长度后的表现差异，仍是需要具体评测的问题。

其次，长度外推容易被误解为单纯“把位置编号放大”。但从位置编码视角看，位置表示如何随位置变化、各维度是否都适合外推，才是关键。DPE 的做法正说明：对所有维度同等操纵并非最优，需要区分关键维度与非关键维度。

第三，免训练方法有其代价与适用条件。DPE 被描述为免训练框架，但论文同时强调它是对预训练模型的“最小改动”调整，并需要检测每个维度的有效长度；这类方法的效果依赖具体模型与位置编码配置，不能直接推广为所有模型都适用的通用结论。

最后，综述指出的挑战与未来方向说明该领域仍未收敛。读者应把不同论文的主张视为各自条件下的研究结论，而非行业共识。

All Categories