★ 2
漂移契约：面向深度鲁棒局部学习的谱更新
论文将 Muon 式谱更新几何（动量正交化加谱步长缩放）应用于逐层局部学习更新，此前尚无此类交叉研究。在 CIFAR-10 MLP 基准上，单一谱步长设置在宽度 128 至 2048、深度 12 至 48 范围内均为最优，而局部 Adam 需反复调参且深度 48 时崩溃。作者另提出将步长表述为漂移…
arXiv cs.LG39 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将 Muon 式谱更新几何（动量正交化加谱步长缩放）应用于逐层局部学习更新，此前尚无此类交叉研究。在 CIFAR-10 MLP 基准上，单一谱步长设置在宽度 128 至 2048、深度 12 至 48 范围内均为最优，而局部 Adam 需反复调参且深度 48 时崩溃。作者另提出将步长表述为漂移…