★ 3
论文研究 Muon 优化器何时产生预条件加速效应
该论文从梯度噪声几何角度分析 Muon 优化器的理论机制，指出在经典各向同性噪声假设下 Muon 仅相当于学习率缩放。研究进一步表明，在结构化噪声下 Muon 可将任务频率依赖从线性降为平方根，有助于平衡频繁与稀有任务的学习。
arXiv cs.LG7 天前
#Muon 优化器
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
Muon-RT：复用教师轨迹免动量缓冲，LLM 自蒸馏省 42% 内存
论文提出 Muon-RT，在 LLM 自蒸馏中复用 EMA 教师与学生的位移来替代 Muon 的独立动量缓冲，从而降低持续训练内存。在 Qwen2.5-7B-Instruct 上，相比 AdamW 平均准确率提升 2.6 分且内存减少 42%；相比动量 Muon 提升 5.4 分且内存减少 27%。
arXiv cs.LG8 小时前
这个主题的相关资产
相关术语Muon 优化器