#Adam

Adam 与自然梯度下降的几何距离

论文将 Adam 的完整更新规则（含动量）视为对角经验 Fisher 近似，用尺度不变度量衡量其与真实自然梯度下降的几何偏差。结果显示偏差在病态条件下显著增大，但 Adam 仍能收敛到低损失，其有效性或来自结构近似误差与动量平滑的平衡。