★ 3
自适应批大小为何有助于LLM预训练：无界方差视角
论文从随机优化方差角度解释LLM预训练中增大批大小的有效性，指出常用的有界方差假设在实践中不成立。作者提出广义BG-a噪声模型，在L-光滑条件下推导出与增长指数相关的信息论下界与匹配上界，并据此设计自适应批调度器。在C4上预训练至多10亿参数的OLMo2模型时，该调度器在相同token预算下取得更…
arXiv cs.LG28 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文从随机优化方差角度解释LLM预训练中增大批大小的有效性，指出常用的有界方差假设在实践中不成立。作者提出广义BG-a噪声模型，在L-光滑条件下推导出与增长指数相关的信息论下界与匹配上界，并据此设计自适应批调度器。在C4上预训练至多10亿参数的OLMo2模型时，该调度器在相同token预算下取得更…