#隐式正则化

共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

Grokking 记忆到泛化转变的量化规律

研究在模运算任务上扫描 384 组两层 MLP 配置,拟合出泛化起始时间的幂律标度关系,发现数据复杂度是主导因素而非模型容量。权重衰减约 1.0 处存在清晰相边界,权重范数在转变期单调压缩。该结果为预测和控制过参数化网络的状态转变提供了定量基础。

arXiv cs.AI51 天前

这个主题的相关资产

相关公司xAI1

相关标签

隐式正则化 最新资讯与动态(1 篇) - 智讯 AI News