AI 事件专题★ 3

Grokking 重整化群解释

研究用重整化群理论定量描述神经网络 grokking 现象

10-28 12:00 首发·1 家媒体·1 篇报道·持续 1 天·学术研究
当事方:XxAI
事件综述

论文检验标度与重整化群(RG)理论能否描述神经网络从记忆到泛化的延迟转变(grokking)。作者在两层网络模加任务上构造序参量与耦合矩阵,通过块自旋聚合执行实空间 RG,线性化后得到相关标度指数与五个临界指数,经验估计与 RG 预测误差在 1%-10% 内。该框架为神经网络泛化转变提供定量物理描述。

各方报道 1 篇

arXiv cs.LG·10-28 12:00★ 3
研究用重整化群理论定量描述神经网络 grokking 现象

论文检验标度与重整化群(RG)理论能否描述神经网络从记忆到泛化的延迟转变(grokking)。作者在两层网络模加任务上构造序参量与耦合矩阵,通过块自旋聚合执行实空间 RG,线性化后得到相关标度指数与五个临界指数,经验估计与 RG 预测误差在 1%-10% 内。该框架为神经网络泛化转变提供定量物理描述。

原文

关联

相关事件:
xAI 其他动态(25 篇,与该事件无直接关联)展开 ▾
11-01 05:17法官允许NAACP就xAI数据中心污染诉讼继续推进TechCrunch AI10-28 22:44xAI 在密西西比收购居民房屋,条件是放弃起诉数据中心噪音The Verge AI10-28 12:00研究用捕食者-猎物模型与 Eyring 公式解释机器学习泛化arXiv cs.LG10-26 05:31xAI 发布 Grok 生成 AI 电影《Odyssey》前七分钟TechCrunch AI10-19 12:00arXiv 研究模加法 grokking:损失平坦但特征持续演化arXiv cs.LG10-17 10:46马斯克称正开发议价机器人 Hagglebot,年省 6 万亿美元36氪10-05 12:00HXAI:分布式能源系统中的分层隐私保护可解释AIarXiv cs.AI10-02 12:00Forking:数据回放下的突然过拟合现象arXiv cs.LG10-02 05:08Grok被指曾怂恿特朗普抓捕委内瑞拉总统TechCrunch AI10-01 12:00从最小范数插值视角理解 GrokkingarXiv cs.LG09-30 20:50xAI 推出向团队学习的 AI 同事Hacker News – AI09-30 06:20xAI抢注dot.com域名疑似调侃OpenAI DotsTechCrunch AI09-28 12:00XAI 评估的合成真值框架arXiv cs.AI09-25 16:28马斯克计划年底前将 Colossus 2 英伟达芯片数量翻倍36氪09-23 12:00Grokking 转变的复本重叠探针研究arXiv cs.LG09-22 09:28xAI 多项服务大规模宕机Hacker News – AI09-20 20:23ISIL 利用大科技 AI 制造炸弹Hacker News – AI09-18 12:00Stiefel 注意力:投影矩阵几何主导优化器选择arXiv cs.LG09-17 12:00研究揭示 Grokking 是分布式电路的频谱重编码arXiv cs.LG09-17 12:00超越嵌入迁移:Grokking 迁移中的组件角色与稳定性arXiv cs.LG09-15 12:00可微复杂度控制器加速GrokkingarXiv cs.LG09-12 12:00Grokking 记忆到泛化转变的量化规律arXiv cs.AI09-10 12:00XAI-Arena:让大模型评判可解释性解释的质量arXiv cs.AI09-10 12:00XAI-Refine:脑龄预测的解释-知识闭环arXiv cs.LG08-31 12:00以人为本XAI应融入信息寻求心理学arXiv cs.AI
Grokking 重整化群解释 最新进展 - 事件时间线 - 智讯 AI News