#随机梯度下降

带裁剪与加性噪声的随机梯度方法几乎必然收敛分析

梯度裁剪与加性噪声是训练机器学习模型的标准技术，尤其在需要鲁棒性或隐私保证的场景，但裁剪引入偏差、噪声增加方差，使单条优化轨迹的长期行为难以刻画。作者证明在光滑性与一致有界随机梯度噪声假设下，带裁剪与加性高斯噪声的SGD（SGD-CN）在标准衰减步长条件下几乎必然收敛，并推广到动量变体。结果为理解…