★ 2
AdaGrad中梯度裁剪为何关键：广义光滑性下的高概率理论
该论文分析原始同步坐标级AdaGrad在广义光滑性与重尾噪声下的表现，发现未裁剪的AdaGrad会出现各向异性失准，自适应分母学到的是稀有噪声冲击的几何而非目标局部曲率，导致方向性扭曲、阻碍有限时域欧氏进展。作者证明梯度裁剪能修复这一失效模式，并给出原始非滞后AdaGrad更新的有限时域高概率收敛…
arXiv cs.LG35 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文分析原始同步坐标级AdaGrad在广义光滑性与重尾噪声下的表现，发现未裁剪的AdaGrad会出现各向异性失准，自适应分母学到的是稀有噪声冲击的几何而非目标局部曲率，导致方向性扭曲、阻碍有限时域欧氏进展。作者证明梯度裁剪能修复这一失效模式，并给出原始非滞后AdaGrad更新的有限时域高概率收敛…