★ 3
Spectrally Targeted Muon：谱选择性正交化优化器
论文提出 Spectrally Targeted Muon，仅对高于或低于阈值 τ 的奇异值做正交化，从而在归一化 SGD 与 Muon 之间插值，无需 SVD。实验发现动量的小奇异值并非噪声，Muon 的优势来自放大过小方向使其可训练；压缩最大奇异值才是保持参数谱平坦的原因，且 AdamW 与 …
arXiv cs.LG24 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Spectrally Targeted Muon，仅对高于或低于阈值 τ 的奇异值做正交化，从而在归一化 SGD 与 Muon 之间插值，无需 SVD。实验发现动量的小奇异值并非噪声，Muon 的优势来自放大过小方向使其可训练；压缩最大奇异值才是保持参数谱平坦的原因，且 AdamW 与 …