★ 2
优化器几何决定矩阵分解中的谱学习动态
论文研究矩阵与曲率类优化器（SignGD、Adam、Muon、Shampoo、K-FAC）在深度矩阵分解中如何影响奇异模态的涌现与衰减。作者在平衡与对齐假设下推导出各优化器的模态诞生、饱和与衰减规律，发现并非简单的低秩偏置强弱排序：SignGD 与理想 Muon 可消除发散出生壁垒，而带阻尼的 K…
arXiv cs.LG27 天前
#深度学习理论
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
增长式非参数神经网络中的检索中心深度学习
论文研究一种通用深度学习层：训练时为每个数据点存储键值表示，推理时通过注意力机制检索重组，形成「增长式神经网络」。作者为核化注意力层推导基于函数梯度的学习规则，建立「检索中心深度学习」（RCDL）范式，并揭示其与MesaNet/DeltaNet及新型优化器的形式联系。
arXiv cs.LG27 天前
★ 2
Adam 与自然梯度下降的几何距离
论文将 Adam 的完整更新规则（含动量）视为对角经验 Fisher 近似，用尺度不变度量衡量其与真实自然梯度下降的几何偏差。结果显示偏差在病态条件下显著增大，但 Adam 仍能收敛到低损失，其有效性或来自结构近似误差与动量平滑的平衡。
arXiv cs.LG31 天前
★ 2
矩阵记忆的因果秩定律：任务代数决定表征秩
论文在群组合任务测试床上提供因果证据，表明梯度下降招募的秩恰好等于任务代数所要求的秩。在五个有限群上，招募秩等于群的最小忠实实表示维度 d_min，Spearman 相关系数达 0.9747。研究将秩定律从标量容量约束扩展为表示论层面的规律。
arXiv cs.LG49 天前