什么是保留网络（Retentive Network）？一种兼顾并行训练与低成本推理的大语言模型基础架构

保留网络（Retentive Network，RetNet）是一种面向大语言模型的序列建模基础架构，由论文《Retentive Network: A Successor to Transformer for Large Language Models》提出。按该论文的表述，它试图同时做到三件事：训练可并行、推理成本低、模型效果良好。它要解决的问题是：以自注意力（self-attention）为核心的 Transformer 在长序列上存在二次复杂度带来的显存开销与可扩展性限制，而纯循环结构又难以并行训练。

为什么重要

在 RetNet 出现之前，主流的大语言模型基础架构是 Transformer。2025 年的综述论文《A Survey of Retentive Network》在回顾这一背景时指出，Transformer 依赖自注意力来建模依赖关系，但由于二次复杂度，它在处理长序列时面临较高的内存成本和有限的可扩展性。这构成了一组相互牵制的取舍：

训练效率与推理效率难以兼得。 注意力结构在训练时可以整段并行计算，但在自回归解码时需要随序列增长而扩张的缓存，解码吞吐、延迟与显存占用都随上下文变长而恶化。
长序列建模代价高。 序列越长，注意力计算的规模增长越快，扩展上下文长度的成本随之上升。
循环结构的长处与短处并存。 循环网络在推理时状态固定、单步成本恒定，但其固有的顺序依赖不利于并行训练。

RetNet 的重要性正在于它试图打破上述取舍：论文声称该架构同时实现了训练并行性、低成本推理与良好性能，并称这些特性使其成为大语言模型上 Transformer 的有力继任者。需要说明的是，这是论文作者的主张与实验结论，而非已被普遍采纳的行业定论。

工作机制

RetNet 的核心是保留机制（retention mechanism）。论文首先从理论上推导了循环（recurrence）与注意力（attention）之间的联系，然后据此提出该机制用于序列建模。其关键设计在于：同一套机制可以用三种计算范式来表达，分别服务于不同的阶段与场景。

并行表示（parallel representation）

在训练阶段使用并行表示，使模型能够像注意力结构那样对整段序列并行计算。这是 RetNet 保留「训练并行性」的来源，也是它区别于传统循环网络的地方。

循环表示（recurrent representation）

在推理阶段使用循环表示，使单步解码的推理成本为 O(1)。按论文的说法，这一表示在不牺牲性能的前提下改善了解码吞吐量、延迟与 GPU 显存占用。对自回归生成而言，这意味着上下文变长不再直接推高每步的计算与缓存开销。

分块循环表示（chunkwise recurrent representation）

第三种范式面向长序列建模：序列被划分为若干块（chunk），块内并行编码，块与块之间则以循环方式汇总。论文称这一表示以线性复杂度支持高效的长序列建模。

三种范式共享同一套保留机制，因此训练时用的形态与部署时用的形态在数学上是对应的，而不是两个彼此独立的模型。这一点是理解 RetNet 设计意图的关键：它把「训练要并行」与「推理要便宜」这两个通常冲突的要求，放在同一个机制的不同表达形式里解决。

典型例子

素材中出现的具体对象与结论如下：

原始论文本身。 《Retentive Network: A Successor to Transformer for Large Language Models》由 Yutao Sun、Li Dong、Shaohan Huang、Shuming Ma、Yuqing Xia、Jilong Xue、Jianyong Wang、Furu Wei 撰写，2023 年 7 月 17 日提交至 arXiv，2023 年 8 月 9 日更新至第 4 版，学科分类为计算与语言（cs.CL）与机器学习（cs.LG）。论文报告的语言建模实验结果显示，RetNet 取得了良好的扩展性结果、并行训练能力、低成本部署与高效推理。
综述论文。 《A Survey of Retentive Network》由 Haiqi Yang、Zhiyuan Li、Yi Chang、Yuan Wu 撰写，2025 年 6 月 7 日提交至 arXiv，共 15 页、3 幅图。该综述称自己是 RetNet 架构的第一篇详细综述，覆盖其关键创新与多样化的应用，并讨论了相关挑战与未来研究方向。综述提到，RetNet 已在自然语言处理、语音识别与时间序列分析等机器学习范式中展现出跨领域的有效性——这同样是该综述作者的归纳，而非独立第三方评测。

需要强调：以上效果描述均来自论文与综述作者的自述，本条目未对其做任何复现或验证。

边界与常见误解

它不是「已被证明的 Transformer 替代品」

原始论文的标题与摘要把 RetNet 定位为 Transformer 的「继任者」（successor），综述也称其为「显著的进展」与「高效的替代方案」。但这些是提出者与综述作者的判断。素材中没有任何来自独立第三方的大规模对比评测，因此不应把「继任者」当作既成事实来陈述。

O(1) 推理不等于整体成本恒定

论文所说的 O(1) 指的是循环表示下单步推理的成本不随已生成序列长度增长。这并不等于训练成本、显存总量或长上下文下的全部开销都是常数；分块循环表示的存在本身就说明长序列场景另有专门的复杂度考量（线性复杂度）。

三种范式不是三个模型

并行、循环、分块循环是同一保留机制的三种计算表达，容易被误读为三种不同的网络或需要分别训练。按论文的表述，它们之间的对应关系是由循环与注意力之间的理论联系推导出来的。

已知的开放问题

综述明确指出，围绕 RetNet 仍存在主要挑战，并提出了未来研究方向，以支持其在学术研究与实际部署中的持续发展。也就是说，该架构的工程成熟度与适用边界在素材范围内仍属待探索议题，而非已经收敛的结论。

适用范围

素材中提到的应用领域为自然语言处理、语音识别与时间序列分析，均出自综述的归纳。对于素材未提及的任务类型、模型规模或部署条件，本条目不作推断。

すべてのカテゴリ