arXiv cs.LG·47 天前★ 2

StopGrads的平稳性、收敛性与流图学习

原文标题：How I learned to stop worrying and love StopGrads: Stationarity, Convergence, and a case study on Flow Map Learning

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出stopgrad回归原理，为流图、强化学习和扩散采样器中的stopgrad目标提供统一模板与平稳点闭式刻画。证明流图目标的唯一平稳点即真实流图，并给出欧拉与拉格朗日目标的收敛结果。修改stopgrad放置可将训练内存减少2倍。

论文速读 · 四段结构cs.LG去论文速读 →

问题: stopgrad广泛使用却会改变梯度、平稳点与收敛性，使相关训练目标缺乏理论依据。
方法: 提出stopgrad回归原理，给出stopgrad目标的统一模板与平稳点闭式刻画，并据此重新设计stopgrad放置位置。
结果: 证明流图目标唯一平稳点即真实流图，给出Eulerian与Lagrangian目标（含MeanFlow及改进MeanFlow）的收敛结果；修改stopgrad放置可减少2倍训练内存。
影响: 为流图、强化学习与扩散采样器的stopgrad训练提供可依赖的理论与省显存改法，工程上可直接尝试替换放置方式。