什么是梯度中心化（Gradient Centralization）？一种直接作用于梯度的深度网络优化技术

梯度中心化（Gradient Centralization，GC）是一种直接作用于梯度的深度神经网络（Deep Neural Network，DNN）优化技术：它在优化器更新参数之前，把梯度向量减去其自身均值，使梯度具有零均值。它要解决的问题是——在已有的批归一化（Batch Normalization，BN）、权重标准化（Weight Standardization，WS）等做法之外，提供一种不修改激活值、也不修改权重向量，而是直接约束梯度的正则化与加速手段。

为什么重要

深度网络的训练效果高度依赖优化技术。论文指出，已有研究表明，利用一阶与二阶统计量（例如均值和方差）对网络激活值或权重向量做 Z-score 标准化，可以改善训练表现，批归一化和权重标准化就是这类方法的代表。

但这些方法的操作对象集中在激活值或权重上：批归一化在层间对激活做标准化，权重标准化在参数更新后对权重向量做处理。它们都需要在网络结构或参数层面插入额外步骤，并且与具体层的形态相关。对于希望以最小改动接入现有训练流程的使用者来说，缺少一种只改动优化器内部、不触碰网络结构的通用手段。

梯度中心化的出发点正在于此：把标准化的思想从激活和权重平移到梯度上，让约束发生在参数更新这一步。论文将其定位为一种新的优化技术，并强调实现非常简单，可以只用一行代码嵌入现有的基于梯度的优化器。

工作机制

按论文的描述，梯度中心化的核心做法可以拆成以下几个要点：

对梯度向量去均值。 对某个权重矩阵对应的梯度，沿其某一维度计算均值，再从梯度中减去该均值，使中心化后的梯度向量均值为零。这是整个方法唯一的核心运算。
作用于梯度而非激活或权重。 论文明确把它与批归一化、权重标准化区分开：后两者主要操作激活值或权重，而梯度中心化直接操作梯度。
可视为带约束损失的投影梯度下降。 论文给出了一种理论解读：梯度中心化可以看作是对带约束的损失函数做投影梯度下降（projected gradient descent），即每一步更新都被投影到满足零均值条件的梯度子空间上。
同时正则化权重空间与输出特征空间。 论文称，梯度中心化能对权重空间和输出特征空间都起到正则化作用，从而提升深度网络的泛化性能。
改善损失函数及其梯度的 Lipschitz 性质。 论文称梯度中心化改善了损失函数和其梯度的 Lipschitzness，使训练过程更高效、更稳定。
接入方式简单。 论文称其实现非常简单，只需一行代码即可嵌入已有的基于梯度的优化器；它也可以直接用于微调预训练的深度网络。

需要强调的是，上述关于泛化性能、稳定性与效率的论断均出自该论文自身的分析与实验，属于论文作者的主张，而非独立第三方给出的行业结论。

典型例子

论文在多个应用方向上做了实验，用以说明梯度中心化的效果，这些方向包括：

通用图像分类（general image classification）；
细粒度图像分类（fine-grained image classification）；
目标检测（detection）；
分割（segmentation）。

论文称，在这些实验中梯度中心化能够持续改善深度网络的学习表现。除从零训练外，论文还指出该方法可以直接用于微调预训练模型，这构成另一类典型使用场景：在不改变网络结构的前提下，把梯度中心化加进微调阶段的优化器中。

论文摘要中给出了代码链接，但具体实现细节与实验数值需查阅论文原文，本条目不代为转述未经核实的数据。

边界与常见误解

它不是归一化层的替代品。 批归一化和权重标准化处理的是激活值与权重向量，梯度中心化处理的是梯度。三者作用位置不同，论文把它们并列对比，是为了说明梯度中心化填补了「直接约束梯度」这一空白，而不是宣称可以取代前两者。

它不是一种新的网络结构。 梯度中心化不引入新的层，也不改变前向计算；它只修改反向传播得到的梯度，因此可以嵌入已有的基于梯度的优化器。把它理解成「优化器内部的一步预处理」比理解成「一个模块」更准确。

「零均值」不等于「梯度消失被解决」。 论文的论证路径是：零均值约束对应带约束损失的投影梯度下降，由此带来权重空间与特征空间的正则化效果，并改善损失函数及其梯度的 Lipschitz 性质。这些是论文给出的解释链条，不应被简化为「减去均值就能加速收敛」这类笼统说法。

效果主张的归属要清楚。 关于「持续提升性能」「训练更高效稳定」的结论来自论文作者在图像分类、检测、分割等任务上的实验，属于该论文的报告结果。是否在其他任务、其他模型规模、其他数据分布上同样成立，论文摘要并未覆盖，读者不宜将其当作普适保证。

已知代价与适用条件。 论文摘要未系统讨论该方法的失败情形或额外开销，因此本条目不对其代价做推测。可以确定的是：它依赖梯度张量的形状来定义「沿哪个维度求均值」，具体实现需与参数张量的组织方式相匹配；这一点属于方法本身的构造要求，而非论文给出的实验结论。

全部分类