★ 3
研究用重整化群理论定量描述神经网络 grokking 现象
论文检验标度与重整化群（RG）理论能否描述神经网络从记忆到泛化的延迟转变（grokking）。作者在两层网络模加任务上构造序参量与耦合矩阵，通过块自旋聚合执行实空间 RG，线性化后得到相关标度指数与五个临界指数，经验估计与 RG 预测误差在 1%-10% 内。该框架为神经网络泛化转变提供定量物理描…
arXiv cs.LG5 天前
#Grokking
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 研究模加法 grokking：损失平坦但特征持续演化
论文在模加法任务上证明网络可在训练交叉熵近乎平坦时继续学习：隐藏特征变化、留出精度从零升至 90% 以上。作者用有限窗口定理证明单隐层网络中该共存现象，并在更深网络与单块 Transformer 上复现，指出训练损失平台期不等于学习停滞。
arXiv cs.LG14 天前
★ 3
从最小范数插值视角理解 Grokking
论文发展统计理论，刻画正则化几何与信号稀疏性如何支配插值附近的泛化，解释 Grokking 现象。在强过参数化无噪声问题中证明零一泛化律，并构造一族凸范数使插值器从全零预测跃迁至精确恢复。研究还揭示最小范数插值的统计不稳定性：正则强度微小扰动即可导致泛化剧变。
arXiv cs.LG32 天前
★ 3
超越嵌入迁移：Grokking 迁移中的组件角色与稳定性
论文研究模运算上的跨算子热启动迁移，区分早期加速效果与后续优化稳定性。在 108 次运行的实验中，迁移内部注意力/MLP 权重加 token 嵌入与读出可提升早期准确率 5.46 个百分点并缩短确认延迟 558 步。研究发现冻结迁移的表征载体几乎消除离线复发，在线验证触发门控大幅降低最大回撤，揭示…
arXiv cs.LG46 天前
★ 3
研究揭示 Grokking 是分布式电路的频谱重编码
论文提出 Transition Games 方法，探究 Transformer 从记忆转向泛化的功能位置。结果显示泛化收益呈分布式，并伴随 block-0 注意力的前瞻性偏置，二阶模式贡献了 67%–92% 的加法对比。研究否定了“MLP 记忆、注意力泛化”的简单二分，认为 grokking 是既…
arXiv cs.LG46 天前
★ 3
可微复杂度控制器加速Grokking
研究引入经认证的可微算法复杂度估计器K_CDM，将算法信息动力学引入学习过程，实现对grokking现象的控制。该控制器可在Levin描述长度意义下加速grokking，复杂度门控比训练损失门控节省27%干预，并揭示其独特贡献在于触发与释放的时机而非归因。
arXiv cs.LG48 天前
★ 3
Grokking 记忆到泛化转变的量化规律
研究在模运算任务上扫描 384 组两层 MLP 配置，拟合出泛化起始时间的幂律标度关系，发现数据复杂度是主导因素而非模型容量。权重衰减约 1.0 处存在清晰相边界，权重范数在转变期单调压缩。该结果为预测和控制过参数化网络的状态转变提供了定量基础。
arXiv cs.AI51 天前
★ 1
Grokking 转变的复本重叠探针研究
研究者训练 64 个独立随机种子的网络，检验 grokking 转变过程中权重成对重叠分布是否变化。由于对齐步骤未保持网络函数、数值精度不达标及协议偏差，预注册规则给出「未确定」结论。仅标准差比值在观测效应下具备统计效力，grokking 率仍属描述性结果。
arXiv cs.LG40 天前
这个主题的相关资产
相关公司xAI8