★ 3
Forking：数据回放下的突然过拟合现象
论文研究在NanoGPT自动研究中发现的泛化失败现象「forking」：数据回放下，带过度编码n-gram记忆分支的模型在epoch边界出现训练与验证损失的急剧分离，形似叉子。机制上，重复更新强化训练中出现的续写、抑制未见续写，n-gram模块放大了该效应，低频上下文贡献最大差距。作者将其与gro…
arXiv cs.LG31 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究在NanoGPT自动研究中发现的泛化失败现象「forking」：数据回放下，带过度编码n-gram记忆分支的模型在epoch边界出现训练与验证损失的急剧分离，形似叉子。机制上，重复更新强化训练中出现的续写、抑制未见续写，n-gram模块放大了该效应，低频上下文贡献最大差距。作者将其与gro…