★ 3
论文研究 Muon 优化器何时产生预条件加速效应
该论文从梯度噪声几何角度分析 Muon 优化器的理论机制，指出在经典各向同性噪声假设下 Muon 仅相当于学习率缩放。研究进一步表明，在结构化噪声下 Muon 可将任务频率依赖从线性降为平方根，有助于平衡频繁与稀有任务的学习。
arXiv cs.LG7 天前
#优化理论
共 13 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
自适应批大小为何有助于LLM预训练：无界方差视角
论文从随机优化方差角度解释LLM预训练中增大批大小的有效性，指出常用的有界方差假设在实践中不成立。作者提出广义BG-a噪声模型，在L-光滑条件下推导出与增长指数相关的信息论下界与匹配上界，并据此设计自适应批调度器。在C4上预训练至多10亿参数的OLMo2模型时，该调度器在相同token预算下取得更…
arXiv cs.LG28 天前
★ 3
梯度下降、镜像下降与 FTRL 的精确形式遗憾界
论文从几何角度刻画在线梯度下降、镜像下降与跟随正则化领导者（FTRL）在何种偏差下实现无遗憾。作者提出“精确性”作为统一原则：相关位移场由标量势生成，或等价地对应的一形式在算法所用几何中精确。精确性在温和正则条件下带来次线性遗憾，非零环流则导致线性遗憾。研究还引入保守相关均衡并刻画其与相关均衡的关…
arXiv cs.LG53 天前
★ 2
研究：Muon 正交化为何适配神经网络 Hessian 结构
该论文从梯度自外积角度分析 Muon 优化器的正交化机制，证明在初始化时权重矩阵的过参数化会驱动对角占优，从而解释 Muon 隐式预条件子与逐层 Hessian 的行块结构相匹配。研究在对称矩阵分解、深度线性网络、两层 ReLU 网络和单层线性注意力四类模型上给出渐近理论，并用语言模型实验验证。
arXiv cs.LG11 天前
★ 2
研究揭示分布式训练中外层 Nesterov 动量的稳定性条件
论文分析多 worker 本地多步更新后由外层优化器施加 Nesterov 动量的训练动力学，在随机二次目标上给出精确的均方稳定性判据。结果显示内层批大小决定本地步数增加是稳定还是失稳，且所需 worker 数可能随本地步数指数增长。
arXiv cs.LG14 天前
★ 2
AdaGrad中梯度裁剪为何关键：广义光滑性下的高概率理论
该论文分析原始同步坐标级AdaGrad在广义光滑性与重尾噪声下的表现，发现未裁剪的AdaGrad会出现各向异性失准，自适应分母学到的是稀有噪声冲击的几何而非目标局部曲率，导致方向性扭曲、阻碍有限时域欧氏进展。作者证明梯度裁剪能修复这一失效模式，并给出原始非滞后AdaGrad更新的有限时域高概率收敛…
arXiv cs.LG35 天前
★ 2
p进数模型的连续优化方法
论文提出首个针对p进数参数机器学习模型的原生连续梯度下降方法。由于p进数完全非连通导致标准损失平坦，作者借助Berkovich仿射线将其扩展为路径连通的度量树，从而支持有效优化器与反向传播。实验表明该方法能高效学习p进数系数的线性模型以完成模运算任务，并演示了动量、Adam变体及语义网络分类。
arXiv cs.LG40 天前
★ 2
带裁剪与加性噪声的随机梯度方法几乎必然收敛分析
梯度裁剪与加性噪声是训练机器学习模型的标准技术，尤其在需要鲁棒性或隐私保证的场景，但裁剪引入偏差、噪声增加方差，使单条优化轨迹的长期行为难以刻画。作者证明在光滑性与一致有界随机梯度噪声假设下，带裁剪与加性高斯噪声的SGD（SGD-CN）在标准衰减步长条件下几乎必然收敛，并推广到动量变体。结果为理解…
arXiv cs.LG49 天前
★ 2
教师几何结构决定师生网络可学习性
论文指出师生网络研究中常假设教师参数随机正态分布，忽略了教师结构对可学习性的巨大影响。作者将可学习性形式化为收敛到全局最小值的成功率，识别出最大化与最小化节点差异的分布，并分析损失景观中两类次优局部极小值。研究还提出差异化学习率策略以提升成功率。
arXiv cs.LG53 天前
★ 1
论文给出在线线性优化在 ℓp 球上的极小极大小损失界
研究单位 ℓp 球上全信息在线线性优化的遗憾界，提出 FTRL 算法在不知 T 与 Δ_T 的情况下达到 O_p(1+min{Δ_T^{1-1/p}, d^{1/2-1/p}√Δ_T}) 的界。匹配下界证明该速率对每个固定 p 都是极小极大的，且常数 (2+o(1))p/log p 在 p→∞ 时…
arXiv cs.LG5 天前
★ 1
逆强化学习中奖励函数更新的占用空间几何视角
论文从占用空间（occupancy space）视角重新审视逆强化学习中的奖励更新，指出沿 e-测地线趋向最优占用的几何直接影响奖励参数空间的 IRL 对偶梯度。据此提出用占用轨迹上的平均 Fisher 信息预条件对偶梯度，得到近似自然梯度的更新，并从镜像下降角度分析其收敛性。
arXiv cs.LG19 天前
★ 1
结果依赖截断与删失下生存分析模型的高效学习
论文研究结果依赖截断下的生存分析，证明在基线风险已知时 Cox 回归可通过一阶优化高效学习（尽管非凸），而联合学习基线风险时负对数似然存在严格次优局部极小值。实验显示考虑截断可降低朴素 Cox 回归的预测偏差，并较期望最大化方法提速数个数量级。
arXiv cs.LG21 天前
★ 1
岭回归中新鲜草图的理论优势
论文研究迭代随机求解器中「复用草图」与「每步重抽新鲜随机性」的设计选择，证明在列采样的欠定迭代岭回归中新鲜草图具有可证明优势。该方法沿当前残差方向分析误差，而非在整个 Gram 矩阵上统一分析，从而为杠杆分数与岭杠杆分数采样给出更紧的收敛保证，并导出残差感知采样规则。实验在合成与真实数据（含 Qw…
arXiv cs.LG32 天前