★ 3
研究：二次型视角解析 Muon 正交化更新与牛顿-舒尔茨迭代
论文在矩阵二次型上闭式分析Muon核心的PolarGD正交化更新，指出正交化在梯度非低秩且最大奇异方向曲率大时收益明显，其速度取决于迭代点条件数而非Hessian。研究还解释Muon中少量牛顿-舒尔茨迭代为何有时比精确正交化收敛更快，并发现Transformer注意力矩阵约四分之一奇异值处于该区间。
arXiv cs.LG10 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文在矩阵二次型上闭式分析Muon核心的PolarGD正交化更新，指出正交化在梯度非低秩且最大奇异方向曲率大时收益明显，其速度取决于迭代点条件数而非Hessian。研究还解释Muon中少量牛顿-舒尔茨迭代为何有时比精确正交化收敛更快，并发现Transformer注意力矩阵约四分之一奇异值处于该区间。