★ 3
Muon 优化器在卷积上理论存疑但实践有效
论文指出 Muon 优化器对矩阵更新有清晰解释，但卷积核以四维张量存储，标准实现将其重塑为矩阵，破坏了其理论基础。作者在卷积算子几何中形式化优化目标并提出 Convolutional Newton-Schulz（Conv-NS），在 CIFAR-10 与 ImageNet 上与重塑版 Muon 精…
arXiv cs.LG26 天前
#卷积网络
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
Muon-C：面向卷积核的算子对齐Muon优化器
论文提出Muon-C，将卷积核动量表示为频率通道传递矩阵并独立极化，通过临界傅里叶网格将更新精确返回原始有限核支撑。该方法在CIFAR-10流匹配上以40k迭代达到9.87 FID，远优于展开Muon的22.26和Adam的51.31，且以更少FLOPs达到同等质量。
arXiv cs.LG53 天前