Muon（Muon优化器）

Muon优化器由Keller Jordan提出，其核心是对动量梯度进行Newton-Schulz迭代近似正交化，使更新矩阵的奇异值接近1，从而稳定训练并加速收敛。与AdamW相比，Muon在训练GPT类模型时展现出更快的损失下降和更好的最终性能，尤其适合大规模矩阵参数。Muon目前处于早期探索阶段，但已引起广泛关注。