★ 2
arXiv 论文：内层优化器如何影响副本扩展性能
论文研究在地理分布式算力池训练 LLM 时，内层优化器选择对副本扩展（replica scaling）性能的影响。作者识别出伪梯度协方差结构与批大小对噪声尺度的影响两个关键因素，理论并实证表明基于白化的预条件是有力的内层优化器特性。白化内层优化器在 8-96 副本下实现强副本扩展，且随参数与数据规…
arXiv cs.LG18 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究在地理分布式算力池训练 LLM 时，内层优化器选择对副本扩展（replica scaling）性能的影响。作者识别出伪梯度协方差结构与批大小对噪声尺度的影响两个关键因素，理论并实证表明基于白化的预条件是有力的内层优化器特性。白化内层优化器在 8-96 副本下实现强副本扩展，且随参数与数据规…