★ 2
RA-LMC：重尾噪声下LLM贝叶斯微调采样
该论文针对随机梯度朗之万蒙特卡洛（SG-LMC）在非对数凹采样中依赖全局Lipschitz梯度和有界噪声方差的问题，提出状态依赖重尾噪声模型与广义光滑性假设，并给出R-LMC、A-LMC、RA-LMC三种方法。作者在Fisher信息下建立非渐近收敛保证，并在LLM与视觉语言模型的贝叶斯微调实验中显…
arXiv cs.LG21 天前
#重尾噪声
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
AdaGrad中梯度裁剪为何关键：广义光滑性下的高概率理论
该论文分析原始同步坐标级AdaGrad在广义光滑性与重尾噪声下的表现，发现未裁剪的AdaGrad会出现各向异性失准，自适应分母学到的是稀有噪声冲击的几何而非目标局部曲率，导致方向性扭曲、阻碍有限时域欧氏进展。作者证明梯度裁剪能修复这一失效模式，并给出原始非滞后AdaGrad更新的有限时域高概率收敛…
arXiv cs.LG35 天前
★ 1
重尾噪声下无参数区间动态遗憾界
论文研究每轮仅一个无偏随机次梯度的在线凸优化，噪声条件p阶矩未知（1<p≤2）。提出学习器在无需G、σ、p、区间I等参数的情况下，对任意固定长度区间达到区间动态遗憾上界，并保持均值梯度与噪声的不同指数。分析还给出保留全时域最优保证的学习器噪声幂次下界。
arXiv cs.LG28 天前