★ 3
arXiv 研究模加法 grokking：损失平坦但特征持续演化
论文在模加法任务上证明网络可在训练交叉熵近乎平坦时继续学习：隐藏特征变化、留出精度从零升至 90% 以上。作者用有限窗口定理证明单隐层网络中该共存现象，并在更深网络与单块 Transformer 上复现，指出训练损失平台期不等于学习停滞。
arXiv cs.LG14 天前
#训练动力学
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究揭示JEPA联合嵌入预测架构训练动力学
论文为 JEPA 的表征崩塌问题建立早期训练稳定性理论，将梯度流线性化后得到驱动力 γ 与衰减效应 σ，并给出每模态稳定比 μ 与相边界预测，在 800 多个 Tabular-JEPA 配置上验证。基于该分析提出 ResidualPred 预测器，在表格基准与 I-JEPA 预训练中提升有效秩与下…
arXiv cs.LG28 天前
★ 2
论文提出神经网络训练动力学粗粒化三定理框架
论文定义神经网络训练的学习算子并证明其下降定理，随后给出精确闭合定理与动力学粗粒化定理，构成构建与评估训练粗粒化模型的系统框架。作者在有限宽度非线性 ReLU 网络上精确导出由五个独立矩构成的粗粒化模型，可准确预测训练输出与学习算子演化。
arXiv cs.LG5 天前
★ 2
大初始化下逻辑回归梯度下降轨迹的理想路径逼近
该论文研究从预训练模型出发继续训练时，大尺度初始化如何影响后续训练轨迹。作者对严格线性可分数据上的全批量逻辑回归梯度下降轨迹做几何逼近，构造出由有限线性段组成的唯一连续理想路径，分为负间隔修正与最小间隔增长两个阶段。研究证明经两阶段时间重参数化后，固定步长 GD 轨迹除以 R 会一致收敛到该路径，…
arXiv cs.LG27 天前
★ 2
冲突监督改变模型约定而非能力
论文研究同一批问题在两种互不兼容但都正确的约定下训练时，数据顺序对参数的影响。作者证明学习率调度与数据排列是两个独立相乘因子，衰减调度会抑制顺序效应。实验显示恒定学习率下顺序效应达12.29σ，但在与约定无关的指标下该效应恰好为零——模型只是改变了所承诺的约定，而非能力。
arXiv cs.AI31 天前
★ 2
海森矩阵与梯度协方差矩阵的子空间稳定机制
该论文研究神经网络训练中二阶信息的关键现象——海森矩阵顶部子空间的稳定性。作者提出新的子空间演化不稳定度指标，发现梯度协方差矩阵的顶部子空间具有类似性质，并通过类间/类内分解给出对顶部 (C-1) 子空间的近乎完美近似。在梯度流框架下，作者将这种缓慢演化归因于海森矩阵离群特征值与主体特征值之间的分…
arXiv cs.LG34 天前
★ 1
Adam 优化器 ε 固定轨迹解释的注册式检验：罕见嵌入行实验
论文针对 Adam 中 ε 增大可视为按算术缩小罕见 token 输出嵌入行步长的解释，在训练过程中用同一轨迹的矩估计以不同 ε 重放更新进行直接检验。当 ε 提升四个数量级时，三个预注册随机种子的重放均判定为错误，探针行保留的位移比预测多 8.9–11.4 倍。作者强调结论仅限单一模型族、单一语…
arXiv cs.LG3 天前
★ 1
Grokking 转变的复本重叠探针研究
研究者训练 64 个独立随机种子的网络，检验 grokking 转变过程中权重成对重叠分布是否变化。由于对齐步骤未保持网络函数、数值精度不达标及协议偏差，预注册规则给出「未确定」结论。仅标准差比值在观测效应下具备统计效力，grokking 率仍属描述性结果。
arXiv cs.LG40 天前
这个主题的相关资产
相关公司xAI2