Sharpness-Aware Minimization（锐度感知最小化）

Sharpness-Aware Minimization (SAM) 由Foret等人于2020年提出。传统优化只关注损失值，而SAM寻找平坦的极小值区域，因为平坦极小值对参数扰动不敏感，通常泛化更好。SAM在每一步优化中，先计算当前点邻域内最大损失对应的扰动方向，再基于该扰动点计算梯度更新参数。实验表明，SAM在多个图像分类任务上显著提升了泛化性能，且可与现有优化器结合。