★ 2
研究揭示分布式训练中外层 Nesterov 动量的稳定性条件
论文分析多 worker 本地多步更新后由外层优化器施加 Nesterov 动量的训练动力学，在随机二次目标上给出精确的均方稳定性判据。结果显示内层批大小决定本地步数增加是稳定还是失稳，且所需 worker 数可能随本地步数指数增长。
arXiv cs.LG14 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文分析多 worker 本地多步更新后由外层优化器施加 Nesterov 动量的训练动力学，在随机二次目标上给出精确的均方稳定性判据。结果显示内层批大小决定本地步数增加是稳定还是失稳，且所需 worker 数可能随本地步数指数增长。