★ 2
arXiv 论文：内层优化器如何影响副本扩展性能
论文研究在地理分布式算力池训练 LLM 时，内层优化器选择对副本扩展（replica scaling）性能的影响。作者识别出伪梯度协方差结构与批大小对噪声尺度的影响两个关键因素，理论并实证表明基于白化的预条件是有力的内层优化器特性。白化内层优化器在 8-96 副本下实现强副本扩展，且随参数与数据规…
arXiv cs.LG18 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究在地理分布式算力池训练 LLM 时，内层优化器选择对副本扩展（replica scaling）性能的影响。作者识别出伪梯度协方差结构与批大小对噪声尺度的影响两个关键因素，理论并实证表明基于白化的预条件是有力的内层优化器特性。白化内层优化器在 8-96 副本下实现强副本扩展，且随参数与数据规…
论文通过四环境配对分类任务，系统研究自适应优化器中二阶矩估计幂次 p 与全局学习率 η 的交互。发现使跨环境准确率最优的 p 随 log10(η) 近似线性下降，斜率约 -0.27 至 -0.30。研究还揭示源域验证会系统性地选出与最大化环境鲁棒性不同的预条件机制，属单种子有限预算的机理研究。