★ 1
Adam 优化器 ε 固定轨迹解释的注册式检验：罕见嵌入行实验
论文针对 Adam 中 ε 增大可视为按算术缩小罕见 token 输出嵌入行步长的解释，在训练过程中用同一轨迹的矩估计以不同 ε 重放更新进行直接检验。当 ε 提升四个数量级时，三个预注册随机种子的重放均判定为错误，探针行保留的位移比预测多 8.9–11.4 倍。作者强调结论仅限单一模型族、单一语…
arXiv cs.LG3 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文针对 Adam 中 ε 增大可视为按算术缩小罕见 token 输出嵌入行步长的解释，在训练过程中用同一轨迹的矩估计以不同 ε 重放更新进行直接检验。当 ε 提升四个数量级时，三个预注册随机种子的重放均判定为错误，探针行保留的位移比预测多 8.9–11.4 倍。作者强调结论仅限单一模型族、单一语…