★ 3
Grokking 记忆到泛化转变的量化规律
研究在模运算任务上扫描 384 组两层 MLP 配置,拟合出泛化起始时间的幂律标度关系,发现数据复杂度是主导因素而非模型容量。权重衰减约 1.0 处存在清晰相边界,权重范数在转变期单调压缩。该结果为预测和控制过参数化网络的状态转变提供了定量基础。
arXiv cs.AI51 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究在模运算任务上扫描 384 组两层 MLP 配置,拟合出泛化起始时间的幂律标度关系,发现数据复杂度是主导因素而非模型容量。权重衰减约 1.0 处存在清晰相边界,权重范数在转变期单调压缩。该结果为预测和控制过参数化网络的状态转变提供了定量基础。