AdamW

AdamW由Loshchilov与Hutter于2017年提出，指出原版Adam中L2正则与自适应学习率耦合不当。它把权重衰减单独施加于参数，修正了这一问题，现已成为Transformer等深度网络训练的标准优化器之一。