★ 3
超越嵌入迁移：Grokking 迁移中的组件角色与稳定性
论文研究模运算上的跨算子热启动迁移，区分早期加速效果与后续优化稳定性。在 108 次运行的实验中，迁移内部注意力/MLP 权重加 token 嵌入与读出可提升早期准确率 5.46 个百分点并缩短确认延迟 558 步。研究发现冻结迁移的表征载体几乎消除离线复发，在线验证触发门控大幅降低最大回撤，揭示…
arXiv cs.LG46 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究模运算上的跨算子热启动迁移，区分早期加速效果与后续优化稳定性。在 108 次运行的实验中，迁移内部注意力/MLP 权重加 token 嵌入与读出可提升早期准确率 5.46 个百分点并缩短确认延迟 558 步。研究发现冻结迁移的表征载体几乎消除离线复发，在线验证触发门控大幅降低最大回撤，揭示…