★ 2
研究：Muon 正交化为何适配神经网络 Hessian 结构
该论文从梯度自外积角度分析 Muon 优化器的正交化机制，证明在初始化时权重矩阵的过参数化会驱动对角占优，从而解释 Muon 隐式预条件子与逐层 Hessian 的行块结构相匹配。研究在对称矩阵分解、深度线性网络、两层 ReLU 网络和单层线性注意力四类模型上给出渐近理论，并用语言模型实验验证。
arXiv cs.LG11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文从梯度自外积角度分析 Muon 优化器的正交化机制，证明在初始化时权重矩阵的过参数化会驱动对角占优，从而解释 Muon 隐式预条件子与逐层 Hessian 的行块结构相匹配。研究在对称矩阵分解、深度线性网络、两层 ReLU 网络和单层线性注意力四类模型上给出渐近理论，并用语言模型实验验证。