Muon 优化器

Muon由Keller Jordan等人提出，核心是对动量梯度矩阵执行Newton-Schulz迭代近似正交化，使更新方向更均衡。它主要针对隐藏层二维参数，配合Adam处理嵌入与输出层。实验显示在大规模训练中可比AdamW更快收敛且扩展性良好。其理论基础与谱范数约束相关，是近年优化器研究的热点方向之一。