#梯度噪声

论文研究 Muon 优化器何时产生预条件加速效应

该论文从梯度噪声几何角度分析 Muon 优化器的理论机制，指出在经典各向同性噪声假设下 Muon 仅相当于学习率缩放。研究进一步表明，在结构化噪声下 Muon 可将任务频率依赖从线性降为平方根，有助于平衡频繁与稀有任务的学习。