Adam

Adam结合了动量法和RMSProp的优点，通过计算梯度的一阶矩估计和二阶矩估计，为不同参数自适应地调整学习率。它由Kingma和Ba于2014年提出，因其收敛快、调参少而成为训练神经网络的主流优化器，尤其适用于大规模数据和参数的问题。