★ 2
优化器几何决定矩阵分解中的谱学习动态
论文研究矩阵与曲率类优化器（SignGD、Adam、Muon、Shampoo、K-FAC）在深度矩阵分解中如何影响奇异模态的涌现与衰减。作者在平衡与对齐假设下推导出各优化器的模态诞生、饱和与衰减规律，发现并非简单的低秩偏置强弱排序：SignGD 与理想 Muon 可消除发散出生壁垒，而带阻尼的 K…
arXiv cs.LG27 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究矩阵与曲率类优化器（SignGD、Adam、Muon、Shampoo、K-FAC）在深度矩阵分解中如何影响奇异模态的涌现与衰减。作者在平衡与对齐假设下推导出各优化器的模态诞生、饱和与衰减规律，发现并非简单的低秩偏置强弱排序：SignGD 与理想 Muon 可消除发散出生壁垒，而带阻尼的 K…