什么是锐度感知最小化（Sharpness-Aware Minimization）？一种同时压低损失值与损失尖锐度的训练方法
锐度感知最小化（SAM）是一种训练方法，它不只最小化训练损失值，还要求参数落在损失值一致较低的邻域内，从而把「损失值」与「损失尖锐度」一起优化。该概念由 Foret 等人在 2020 年的论文中提出，被表述为一个可用梯度下降高效求解的 min-max 问题。
锐度感知最小化（Sharpness-Aware Minimization，SAM）是一种用于训练机器学习模型的优化方法：它不满足于找到一个训练损失值很低的参数点，而是寻找这样的参数——其周围一个小邻域内的损失值都一致地低。它要解决的问题是：在高度过参数化的模型中，训练损失值本身对泛化能力提供的保证很有限，只优化训练损失容易得到质量次优的模型。
为什么重要
在 SAM 出现之前，训练深度模型的主流做法是最小化训练损失的经验值，例如用随机梯度下降及其变体沿着负梯度方向更新参数。Foret 等人在论文中指出，在当今高度过参数化的模型里，训练损失的值对模型泛化能力几乎没有保证；只优化训练损失值，很容易导致模型质量次优。
这一判断背后是一条被该论文引用的线索：损失曲面的几何形状与泛化之间存在联系。如果最优解位于一个非常陡峭的「尖峰」上，参数稍有扰动，损失就会明显上升；而如果解位于一个平坦的邻域里，参数的小幅变化不会显著改变损失。SAM 的出发点正是把这种几何直觉变成可优化的目标，让训练过程主动避开尖锐的极小值。
从实践角度看，这一方法的重要性体现在论文报告的经验结果上：SAM 在多种基准数据集（论文举例包括 CIFAR-10、CIFAR-100、ImageNet 以及微调任务）和多种模型上改善了泛化，并在其中若干项上取得了当时新的最优性能。论文还报告 SAM 原生提供的标签噪声鲁棒性，与专门针对噪声标签设计的方法相当。需要强调的是，这些是该论文作者报告的结果，而非独立复现的行业共识。
工作机制
SAM 的核心做法可以拆成以下几个要点。
- 把目标从「点」改成「邻域」。常规训练只关心参数点本身的损失值；SAM 关心的是以当前参数为中心、半径为某一范围的小邻域内损失的最大值。它希望这个最坏情况下的损失也尽可能低，因此得到的参数位于「损失一致较低」的邻域中。
- 构造 min-max 问题。按论文的表述，SAM 的形式化结果是一个 min-max 优化问题：内层寻找邻域内使损失最大的扰动方向，外层则针对该扰动后的参数最小化损失。也就是说，它同时压低损失值和损失的尖锐程度。
- 用梯度下降高效求解。论文强调，这个 min-max 问题可以借助梯度下降高效地执行，而不需要付出求解精确内层最大化的代价。常见实现方式是先沿梯度方向做一次扰动，得到邻域内的「最坏点」，再在该点处计算梯度并更新原参数；这使每一步训练大致相当于两次梯度计算。
- 与采样策略的关系。Oikonomou 与 Loizou 在 2025 年的论文中给出了 SAM 及其未归一化变体（USAM）在一条统一更新规则（Unified SAM）下的统一分析，并在更宽松、更自然的随机噪声假设下给出收敛结果。该分析覆盖非凸问题以及满足 Polyak-Lojasiewicz（PL）条件的函数，还讨论了更新规则中归一化的作用、对受限有界方差假设的依赖，以及不同采样策略下的收敛保证；其理论在任意采样（arbitrary sampling）范式下成立，重要性采样是其中的特例。
典型例子
素材中出现的具体用法与系统包括：
- 图像分类基准。原始论文在 CIFAR-10、CIFAR-100、ImageNet 等基准数据集上报告了 SAM 改善泛化的经验结果，并称在若干项上取得当时新的最优性能。
- 微调任务。论文把微调任务列为验证 SAM 泛化收益的场景之一。
- 标签噪声。论文报告 SAM 原生具备的标签噪声鲁棒性，与专门针对噪声标签的学习方法相当。
- 统一分析中的变体。2025 年的分析工作把 SAM 与未归一化的 USAM 纳入同一条更新规则，并在深度神经网络图像分类任务的训练实验中验证理论发现，同时展示 Unified SAM 的实际效果。
- 开源代码。原始论文声明将其代码开源。
边界与常见误解
第一，SAM 不是「只要用了就必然更好」的通用结论。上述泛化收益、最优性能与噪声鲁棒性均出自 Foret 等人的论文报告；2025 年的工作则主要处理收敛性分析，其结论有明确的前提，例如非凸设定、PL 条件、对随机噪声的特定假设以及特定的步长选择。把这些结论外推到任意模型、任意数据分布或任意训练预算，都缺乏依据。
第二，SAM 不等于普通的正则化技巧。它改变的是优化目标本身——从最小化单点损失变为最小化邻域内的最坏损失，因此训练动态与超参数敏感性都会随之变化；论文把「邻域」作为核心概念，邻域大小是需要设定的量，而非固定常数。
第三，SAM 有已知代价。由于每一步需要先做扰动再计算梯度，单步计算量高于普通梯度下降；这是「高效」相对精确求解 min-max 而言，并不意味着与普通训练等价。此外，邻域内最大化只是对最坏情况的一种近似，实际实现依赖一阶近似，其行为受步长与归一化方式影响——2025 年的分析正是把归一化与未归一化两种更新规则放在一起讨论。
第四，容易把「平坦」误解为「一定泛化好」。SAM 的动机来自损失曲面几何与泛化之间已被先前工作报告的联系，但该联系本身是经验性与理论性混合的命题，不能简化为「越平坦越好」的单一判据。