★ 2
终端收缩平均揭示大模型预训练中的调度器-估计器交互
论文指出LLM预训练通常返回原始最终迭代，耦合了学习率调度与模型估计器两个设计选择。作者提出终端收缩平均（TSA），在原始最终迭代与近期检查点平均之间插值，平衡近期进展与终端方差。实验显示该组合在NanoChat上提升验证质量，并加速了达到GPT-2水平的时间。
arXiv cs.LG40 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出LLM预训练通常返回原始最终迭代，耦合了学习率调度与模型估计器两个设计选择。作者提出终端收缩平均（TSA），在原始最终迭代与近期检查点平均之间插值，平衡近期进展与终端方差。实验显示该组合在NanoChat上提升验证质量，并加速了达到GPT-2水平的时间。