★ 3
Muon 优化器在卷积上理论存疑但实践有效
论文指出 Muon 优化器对矩阵更新有清晰解释，但卷积核以四维张量存储，标准实现将其重塑为矩阵，破坏了其理论基础。作者在卷积算子几何中形式化优化目标并提出 Convolutional Newton-Schulz（Conv-NS），在 CIFAR-10 与 ImageNet 上与重塑版 Muon 精…
arXiv cs.LG26 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出 Muon 优化器对矩阵更新有清晰解释，但卷积核以四维张量存储，标准实现将其重塑为矩阵，破坏了其理论基础。作者在卷积算子几何中形式化优化目标并提出 Convolutional Newton-Schulz（Conv-NS），在 CIFAR-10 与 ImageNet 上与重塑版 Muon 精…