★ 3
研究用重整化群理论定量描述神经网络 grokking 现象
论文检验标度与重整化群（RG）理论能否描述神经网络从记忆到泛化的延迟转变（grokking）。作者在两层网络模加任务上构造序参量与耦合矩阵，通过块自旋聚合执行实空间 RG，线性化后得到相关标度指数与五个临界指数，经验估计与 RG 预测误差在 1%-10% 内。该框架为神经网络泛化转变提供定量物理描…
arXiv cs.LG5 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文检验标度与重整化群（RG）理论能否描述神经网络从记忆到泛化的延迟转变（grokking）。作者在两层网络模加任务上构造序参量与耦合矩阵，通过块自旋聚合执行实空间 RG，线性化后得到相关标度指数与五个临界指数，经验估计与 RG 预测误差在 1%-10% 内。该框架为神经网络泛化转变提供定量物理描…