★ 2
随机学习流 SLF：有限步长下 SGD 的矩方程
论文从离散更新出发，在高斯闭合下推导参数分布均值与协方差的连续时间方程，保留学习率一阶项。应用于 SGD 后表明均值下降的有效损失受协方差与曲率正则，协方差在曲率 2/η 处失稳，并在线性与非线性网络集成中比梯度流更准确预测学习曲线。
arXiv cs.LG10 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文从离散更新出发，在高斯闭合下推导参数分布均值与协方差的连续时间方程，保留学习率一阶项。应用于 SGD 后表明均值下降的有效损失受协方差与曲率正则，协方差在曲率 2/η 处失稳，并在线性与非线性网络集成中比梯度流更准确预测学习曲线。