★ 3
研究：二次型视角解析 Muon 正交化更新与牛顿-舒尔茨迭代
论文在矩阵二次型上闭式分析Muon核心的PolarGD正交化更新，指出正交化在梯度非低秩且最大奇异方向曲率大时收益明显，其速度取决于迭代点条件数而非Hessian。研究还解释Muon中少量牛顿-舒尔茨迭代为何有时比精确正交化收敛更快，并发现Transformer注意力矩阵约四分之一奇异值处于该区间。
arXiv cs.LG10 天前
#Muon
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究称 LLM 训练阶段切换优化器代价有限
论文从零预训练 1.2B Llama-3 模型，系统研究 AdamW 与 Muon 在预训练、继续预训练和 SFT 阶段切换的影响。结果显示几乎不存在明显的优化器错配惩罚，后训练优化器选择可基本独立于预训练优化器。
arXiv cs.LG14 天前
★ 3
链式 LMO 优化大语言模型：TensorChain 提出
论文提出链式线性最小化预言机（chained LMOs）框架，统一 Muon 衍生的多种矩阵归一化优化器，并指出许多链式方法在光滑凸目标上可能发散。基于线性联想记忆分析链式组合的优势，提出 TensorChain 优化器，在 Qwen3 0.6B 与 1.7B 预训练中平均 token 效率优于所…
arXiv cs.LG24 天前
★ 3
Spectrally Targeted Muon：谱选择性正交化优化器
论文提出 Spectrally Targeted Muon，仅对高于或低于阈值 τ 的奇异值做正交化，从而在归一化 SGD 与 Muon 之间插值，无需 SVD。实验发现动量的小奇异值并非噪声，Muon 的优势来自放大过小方向使其可训练；压缩最大奇异值才是保持参数谱平坦的原因，且 AdamW 与 …
arXiv cs.LG24 天前
★ 3
研究：最优优化器取决于批大小
论文挑战了优化器评估中单一批大小的基准测试惯例，指出Muon不存在跨训练设置一致的有原则缩放规则，且即使经过充分超参调优，语言模型预训练的最优优化器仍会随批大小变化。这提示优化器开发与评测需覆盖多种批大小。
arXiv cs.LG25 天前
★ 3
Muon 优化器在卷积上理论存疑但实践有效
论文指出 Muon 优化器对矩阵更新有清晰解释，但卷积核以四维张量存储，标准实现将其重塑为矩阵，破坏了其理论基础。作者在卷积算子几何中形式化优化目标并提出 Convolutional Newton-Schulz（Conv-NS），在 CIFAR-10 与 ImageNet 上与重塑版 Muon 精…
arXiv cs.LG26 天前
★ 3
Temperon：以更少训练时间达到全时 SAM 质量
论文提出 Temperon 训练策略：前 43% 轮次用普通 SGD 探索，随后一次性切换，将整个余弦退火阶段交给 SAM 包裹的 Muon 精修器。在 CIFAR、SVHN、Tiny ImageNet 上精度追平全时 SAM，并在三个数据集上提前 32%–35% 达到最难目标。该分配规律可迁移至…
arXiv cs.LG46 天前
★ 2
ExpertMuon-Compass：面向MoE训练的对齐引导步长优化器
论文提出 ExpertMuon-Compass（Compass），在 Muon 优化器基础上为每个专家矩阵的更新步长乘以两个因子：家族因子比较该专家正交化更新与梯度的余弦相似度，标量半径则将更新与梯度对应行的对齐程度聚合为步长乘数。在 FineWeb-Edu 预训练中，Compass 表现不逊于甚…
arXiv cs.LG27 天前
★ 2
漂移契约：面向深度鲁棒局部学习的谱更新
论文将 Muon 式谱更新几何（动量正交化加谱步长缩放）应用于逐层局部学习更新，此前尚无此类交叉研究。在 CIFAR-10 MLP 基准上，单一谱步长设置在宽度 128 至 2048、深度 12 至 48 范围内均为最优，而局部 Adam 需反复调参且深度 48 时崩溃。作者另提出将步长表述为漂移…
arXiv cs.LG39 天前
这个主题的相关资产
相关公司Ollama1