★ 3
固定优先训练：自适应深度只是收尾阶段
论文提出 fixed-first training，仅在训练末期短暂阶段变化循环 Transformer 的深度，而非全程自适应深度训练。在 2 亿参数模型上可减少约 45% 训练算力，10 亿参数模型减少 31%–37% 算力与约三成墙钟时间，性能损失极小。结果表明全深度范围训练可压缩到收尾阶段。
arXiv cs.LG19 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 fixed-first training，仅在训练末期短暂阶段变化循环 Transformer 的深度，而非全程自适应深度训练。在 2 亿参数模型上可减少约 45% 训练算力，10 亿参数模型减少 31%–37% 算力与约三成墙钟时间，性能损失极小。结果表明全深度范围训练可压缩到收尾阶段。