★ 2
研究提出 SpatialPC，实现亚线性局部信用传播深度计算
论文证明局部学习规则的信用传播延迟源于通信几何而非深度：d 维常数密度下界为 Ω(N^{1/d})，并构造出达到该下界的有向无环图。作者在预测编码框架内实现 SpatialPC，用伴随预测动力学传播信用，在 MNIST 与 Fashion-MNIST 上分别达到 97.6% 与 88.1% 测试准…
arXiv cs.LG5 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文证明局部学习规则的信用传播延迟源于通信几何而非深度：d 维常数密度下界为 Ω(N^{1/d})，并构造出达到该下界的有向无环图。作者在预测编码框架内实现 SpatialPC，用伴随预测动力学传播信用，在 MNIST 与 Fashion-MNIST 上分别达到 97.6% 与 88.1% 测试准…
论文将 Muon 式谱更新几何（动量正交化加谱步长缩放）应用于逐层局部学习更新，此前尚无此类交叉研究。在 CIFAR-10 MLP 基准上，单一谱步长设置在宽度 128 至 2048、深度 12 至 48 范围内均为最优，而局部 Adam 需反复调参且深度 48 时崩溃。作者另提出将步长表述为漂移…