什么是弹性权重巩固（Elastic Weight Consolidation）？一种缓解灾难性遗忘的权重正则化方法

弹性权重巩固（Elastic Weight Consolidation，EWC）是持续学习（continual learning）中的一种权重正则化方法：它估计模型各权重对已完成任务的重要性，在学习新任务时对重要权重的改动施加惩罚，从而在不大幅改动旧知识的前提下容纳新知识。它要解决的问题是灾难性遗忘（catastrophic forgetting）——神经网络在依次学习多个任务时，参数被新任务的数据大幅改写，导致先前任务上的性能急剧下降。

为什么重要

在 EWC 出现之前，处理多任务顺序学习主要有两条路线。一条是联合训练：把所有任务的数据放在一起重新训练。这需要长期保存全部旧数据，在数据量增长或数据不可回访（例如隐私、存储、授权限制）的场景下往往不可行。另一条是简单的顺序微调：直接在旧模型上继续训练新任务。这种做法代价低，但参数会朝新任务的损失方向移动，旧任务对应的解被覆盖，出现灾难性遗忘。

另一类思路是给每个任务单独保留一部分网络容量（例如为每个任务扩展分支或分配独立参数），代价是模型规模随任务数增长。EWC 所属的正则化路线则试图用固定规模的网络容纳多个任务：不保存旧数据，也不扩张结构，而是在损失函数中加入约束项，限制对旧任务关键参数的改动。据 arXiv:2105.04093 的表述，EWC 出自论文《Overcoming catastrophic forgetting in neural networks》，是正则化类持续学习方法中被引用最多的工作之一；该报告的目的正是从理论层面拆解 EWC 所提出的目标函数。

工作机制

EWC 的核心做法可以拆成以下几个要点。需要说明的是，下面描述的是该方法的一般机制框架，具体推导与近似细节以原始论文和 arXiv:2105.04093 的理论说明为准。

用重要性加权约束参数改动。EWC 不把所有参数一视同仁，而是为每个参数估计一个重要性分数。学习新任务时，损失函数由两部分组成：新任务本身的损失，以及一个二次惩罚项，后者对「重要参数偏离旧值的幅度」按重要性加权。重要性高的参数几乎被「钉住」，重要性低的参数则可以自由调整以适配新任务。
以 Fisher 信息矩阵（Fisher Information Matrix，FIM）估计重要性。在 EWC 的原始形式中，参数重要性由 Fisher 信息矩阵给出，它可以从旧任务数据上计算得到的梯度信息近似。直观上，损失对某个参数越敏感（梯度越大），该参数对旧任务越关键，改动它造成的损失上升越多。
顺序累积。每学完一个任务，就更新一次重要性估计并把它保留下来，作为后续任务的约束依据。这样约束会随着任务序列不断叠加，而不需要回放旧数据。
「弹性」的含义。名称中的「弹性」指约束并非刚性冻结：惩罚是二次的、按重要性缩放的，因此网络仍有一定形变空间，可以在保护旧任务的同时学习新任务。

围绕 EWC 还出现了若干变体。arXiv:2603.18596 提到，Memory Aware Synapses（MAS）是 EWC 的一种变体。该论文从基于梯度的视角对 EWC 的重要性估计做了系统分析，并提出了名为 Logits Reversal（LR）的改动：在计算 Fisher 信息矩阵时反转 logit 值。作者称这一操作可以同时避免梯度消失与「冗余保护」，并把采用该改动的方法称为 EWC Done Right（EWC-DR）。这些属于该论文的主张与实验结论，并非关于 EWC 的行业共识。

典型例子

素材中出现的是围绕 EWC 的两篇分析性文献，可作为理解该方法的入口：

理论拆解。Abhishek Aich 的《Elastic Weight Consolidation (EWC): Nuts and Bolts》（arXiv:2105.04093，2021 年 5 月提交）以报告形式给出 EWC 的理论支撑，梳理其目标函数的 underlying 概念。该报告假定读者已了解持续学习的基本术语，定位是解释性材料而非新方法。
对重要性估计的再审视。Xuan Liu 与 Xiaobin Chang 的《Elastic Weight Consolidation Done Right for Continual Learning》（arXiv:2603.18596，2026 年 3 月提交，v3 于 2026 年 3 月 26 日修订，被 CVPR 2026 接收）。该论文称，EWC 对 Fisher 信息矩阵的依赖在某些情形下会导致梯度消失和重要性估计不准确；MAS 则对与先前任务无关的参数施加了不必要的约束，作者称之为「冗余保护（redundant protection）」。论文据此认为 EWC 及其变体在权重重要性估计上存在根本性错配，并提出前述 Logits Reversal 操作加以修正，称在多种持续学习任务与数据集上的实验显示其显著优于现有 EWC 及变体。

这两篇文献说明，EWC 既被当作持续学习的基线方法反复使用，也被当作被分析和改进的对象。

边界与常见误解

不是对所有遗忘都有效。EWC 约束的是参数改动，而不是显式保存旧任务的输入输出关系。当新旧任务在参数空间上高度冲突，或任务序列很长、约束不断累积时，二次惩罚可能不足以维持旧任务性能，也可能反过来限制新任务的学习。arXiv:2603.18596 明确指出 EWC 在实践中「一直表现出次优性能」，并把这归因于重要性估计的偏差——这是该论文的判断。
重要性估计不等于真实重要性。容易把 Fisher 信息矩阵当作参数重要性的精确度量。上述论文的分析认为，基于梯度的估计在部分场景下会失真，MAS 变体还会保护与旧任务无关的参数。因此「EWC 找到了真正重要的权重」是一种过度简化的理解。
不是无需旧数据的万能方案。EWC 通常仍需要在旧任务数据（或其中的样本）上计算梯度以估计重要性，只是不需要在训练新任务时反复回放全部旧数据。把它理解为「完全不需要接触旧数据」并不准确。
与结构扩张、回放方法不是同一类。EWC 属于正则化路线，模型容量固定；它不增加任务专属分支，也不维护样本缓存。与基于回放（rehearsal）或结构隔离的方法相比，它的存储开销小，但对任务间干扰的抵抗力也更依赖估计质量。
超参数敏感。惩罚强度需要在「保护旧任务」与「学习新任务」之间权衡，取值过大会阻碍新任务收敛，过小则约束形同虚设。这一权衡是该方法已知的实践代价。
结论归属要清楚。关于 EWC 性能不足、梯度消失、冗余保护以及 EWC-DR 更优等说法，均出自 arXiv:2603.18596 的作者；关于 EWC 是正则化方法中被引用最多的工作之一的说法，出自 arXiv:2105.04093 的报告。它们应被理解为特定文献的论述，而不是已经定论的普遍结论。

すべてのカテゴリ