★ 4
LayerRoPE：Transformer 深度位置编码新方法
arXiv 论文发现 Transformer 隐藏状态范数随深度增长实为一种涌现的深度位置编码，由归一化权重 γ 承载。作者提出 LayerRoPE，沿深度轴实现类似 RoPE 的隐式编码，在 100B+ token 模型上持续优于 Pre/Post/Peri-Norm，以 3.4 倍更少算力达到…
arXiv cs.LG25 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
arXiv 论文发现 Transformer 隐藏状态范数随深度增长实为一种涌现的深度位置编码，由归一化权重 γ 承载。作者提出 LayerRoPE，沿深度轴实现类似 RoPE 的隐式编码，在 100B+ token 模型上持续优于 Pre/Post/Peri-Norm，以 3.4 倍更少算力达到…