★ 2
CA-DPSGD：用近似二阶信息缓解差分隐私训练裁剪偏差
论文提出曲率感知的差分隐私随机梯度下降框架 CA-DPSGD，利用近似二阶信息构建最优裁剪空间，并配合各向异性噪声机制保障隐私。实验显示其优于现有主流裁剪方法。
arXiv cs.LG7 天前
#梯度裁剪
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
差分隐私扩散模型的能源时序补全
论文针对能源时序缺失值补全，提出在固定阈值 DP-SGD 下将目标函数与梯度裁剪交互建模为优化问题，并设计时间步感知的目标条件化方法。方法采用 v-prediction 缓解后期低信噪比时间步的梯度放大，并引入扩散调度感知的动态加权。在五个真实能源数据集上，该方法在匹配隐私设置下持续优于 ε-pr…
arXiv cs.LG31 天前
★ 2
AdaGrad中梯度裁剪为何关键：广义光滑性下的高概率理论
该论文分析原始同步坐标级AdaGrad在广义光滑性与重尾噪声下的表现，发现未裁剪的AdaGrad会出现各向异性失准，自适应分母学到的是稀有噪声冲击的几何而非目标局部曲率，导致方向性扭曲、阻碍有限时域欧氏进展。作者证明梯度裁剪能修复这一失效模式，并给出原始非滞后AdaGrad更新的有限时域高概率收敛…
arXiv cs.LG35 天前
★ 2
带裁剪与加性噪声的随机梯度方法几乎必然收敛分析
梯度裁剪与加性噪声是训练机器学习模型的标准技术，尤其在需要鲁棒性或隐私保证的场景，但裁剪引入偏差、噪声增加方差，使单条优化轨迹的长期行为难以刻画。作者证明在光滑性与一致有界随机梯度噪声假设下，带裁剪与加性高斯噪声的SGD（SGD-CN）在标准衰减步长条件下几乎必然收敛，并推广到动量变体。结果为理解…
arXiv cs.LG49 天前