arXiv cs.LG·38 天前★ 2

漂移契约：面向深度鲁棒局部学习的谱更新

原文标题：The Drift Contract: Spectral Updates for Depth-Robust Local Learning

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文将 Muon 式谱更新几何（动量正交化加谱步长缩放）应用于逐层局部学习更新，此前尚无此类交叉研究。在 CIFAR-10 MLP 基准上，单一谱步长设置在宽度 128 至 2048、深度 12 至 48 范围内均为最优，而局部 Adam 需反复调参且深度 48 时崩溃。作者另提出将步长表述为漂移契约 lr = ε / RMS(input)，提供逐层输入条件化的漂移上界。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 局部学习随深度增加精度下降，且超参数脆弱、需反复调参。
方法: 将 Muon 式谱更新几何（动量正交化加谱步长缩放）用于逐层局部更新，并提出漂移契约步长。
结果: CIFAR-10 MLP 上单一谱步长在宽度 128–2048、深度 12–48 均最优；宽度 512 五种子下 48.9±0.5 对局部 Adam 46.6±0.3，深度 48 时 Adam 崩溃。
影响: 为逐层并行训练提供免调参的更新规则，使深层局部学习更可用。