★ 2
海森矩阵与梯度协方差矩阵的子空间稳定机制
该论文研究神经网络训练中二阶信息的关键现象——海森矩阵顶部子空间的稳定性。作者提出新的子空间演化不稳定度指标，发现梯度协方差矩阵的顶部子空间具有类似性质，并通过类间/类内分解给出对顶部 (C-1) 子空间的近乎完美近似。在梯度流框架下，作者将这种缓慢演化归因于海森矩阵离群特征值与主体特征值之间的分…
arXiv cs.LG34 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文研究神经网络训练中二阶信息的关键现象——海森矩阵顶部子空间的稳定性。作者提出新的子空间演化不稳定度指标，发现梯度协方差矩阵的顶部子空间具有类似性质，并通过类间/类内分解给出对顶部 (C-1) 子空间的近乎完美近似。在梯度流框架下，作者将这种缓慢演化归因于海森矩阵离群特征值与主体特征值之间的分…