AB
AiBoss站
百科

什么是记忆Transformer(Memorizing Transformers)?一种在推理时读取并记忆新数据的语言模型扩展

记忆Transformer(Memorizing Transformers)是 Yuhuai Wu、Markus N. Rabe、DeLesley Hutchins 与 Christian Szegedy 在论文《Memorizing Transformers》中提出的一种语言模型扩展方法:它让模型在推理时把过去输入的内部表示存入一个不可微的记忆库,并通过近似 kNN 检索复用这些表示,从而无需更新权重即可利用新数据。

记忆Transformer(Memorizing Transformers)是 Yuhuai Wu、Markus N. Rabe、DeLesley Hutchins 与 Christian Szegedy 在论文《Memorizing Transformers》中提出的一种语言模型扩展方法。按该论文的表述,它赋予语言模型「记忆过去输入内部表示」的能力:模型把近期输入的(键,值)对(key, value pairs)写入一个不可微的记忆库,再通过近似 kNN 查找(approximate kNN lookup)在预测时检索并复用这些表示。它要解决的问题是:语言模型通常需要训练或微调、也就是更新权重才能获得新知识,而这一扩展试图让模型在推理阶段直接「读取并记住」新数据,从而立即获得新知识。

为什么重要

论文开篇给出的动机是:语言模型通常需要经过训练或微调才能习得新知识,而这一过程涉及更新模型权重。权重更新意味着额外的训练成本,也意味着新知识被固化进参数之后难以追溯、难以按需替换。对于需要频繁接触新材料的场景——新出现的代码库、新发表的论文、新定义的形式化定理——每次都用微调来吸收,代价与延迟都不理想。

记忆Transformer 提出的替代思路是把「学知识」和「改参数」拆开:参数保持不动,新数据在推理时被读入并写入一个外部记忆,模型在生成时按需检索。论文将这一设想表述为让语言模型在推理时直接读取并记忆新数据,从而立即获得新知识。这一思路的意义在于,它把上下文之外的历史信息也纳入了可检索的范围,而不只依赖当前窗口内的注意力。

工作机制

按论文摘要的描述,该方法的核心做法可以拆成以下几个要点:

  • 记忆的对象是内部表示,而非原始文本。模型记忆的是过去输入的内部表示,具体形式是(键,值)对。这与把原文拼接进提示词的做法不同,检索发生在表示层面。
  • 记忆库不可微。论文明确称该记忆为「不可微的记忆」(non-differentiable memory)。也就是说,写入记忆的内容不通过反向传播接受梯度更新,记忆不是被训练出来的参数,而是随推理过程累积的缓存。
  • 检索方式是近似 kNN 查找。模型在需要时对记忆中的(键,值)对做近似最近邻查找,把检索到的内容用于当前的语言建模预测。近似意味着检索不是精确穷举,而是以可接受的精度换取效率。
  • 记忆规模可扩展。论文报告,当记忆容量增大到 262K tokens 时,性能随之稳定提升。这说明该机制的效果与可检索的历史长度正相关。

从结构上看,这一扩展是在标准 Transformer 语言模型的基础上增加一条「检索—复用」通路:当前输入产生查询,查询与记忆中的键匹配,匹配到的值参与当前层的计算。论文没有把记忆写成可训练参数,因此新知识的进入不需要优化器参与,这也是它区别于微调的关键之处。

典型例子

论文在多个基准与任务上验证了这一机制,素材中列出的包括:

  • 通用网页文本(C4);
  • 数学论文(arXiv);
  • 书籍(PG-19);
  • 代码(Github);
  • 形式化定理(Isabelle)。

论文称,近似 kNN 查找进入(键,值)对记忆的做法在这些基准与任务上改善了语言建模表现。其中在代码与数学相关基准上,论文报告模型能够在测试时利用新定义的函数与定理——这正是「推理时读取新数据」这一设想的直接体现:新函数、新定理并未通过权重更新进入模型,而是在测试阶段被读入记忆并被检索使用。

该论文发表于 ICLR 2022,并被列为 spotlight 论文。上述效果均为论文作者的实验报告,具体数值与实验设置应以原文为准。

边界与常见误解

首先需要澄清的是,记忆Transformer 不是「把上下文窗口无限拉长」。它依赖的是对(键,值)对的近似 kNN 检索,检索本身是有损的、近似的;论文报告的性能随记忆增大到 262K tokens 稳步提升,但这描述的是该论文实验中的趋势,不能外推为任意规模下都持续收益。

其次,它不等于微调,也不取代微调。论文的出发点是避免为获取新知识而更新权重,但这一机制带来的收益是在论文所测的语言建模基准上衡量的;对于需要改变模型行为风格、对齐偏好或习得全新能力的任务,权重更新仍是另一条路径,论文并未声称记忆可以替代它。

第三,记忆库不可微这一点既是特点也是限制。写入记忆的内容不经过梯度优化,模型无法「学会」如何更好地组织记忆,记忆的质量取决于写入什么、检索是否命中。检索环节的近似性也意味着可能召回不相关或次优的条目。

第四,容易被误解为「模型自动获得长期记忆」。实际上记忆的内容是过去输入的内部表示,其可用范围受限于写入策略与检索机制;论文所展示的是在特定基准上利用新定义函数与定理的能力,而非通用的、跨会话持久的记忆系统。

最后,已知代价方面,论文提到记忆规模增大带来性能提升,同时也意味着更大的存储与检索开销;近似 kNN 查找本身是为控制这一开销而做的取舍。论文未在摘要层面给出具体的延迟或显存数字,相关工程代价需参考原文实验部分。

参考资料