#训练理论

研究证明：线性残差网络训练中宽度与深度极限可交换

研究者将残差网络无限宽度与无限深度极限的可交换性从初始化扩展到训练阶段。在 Depth-μP 残差分支缩放与 μP 宽度参数化下，证明带梯度裁剪的任意固定梯度步数中，网络输出沿任意联合宽度-深度增长路径 L2 收敛。无梯度裁剪时仅能证明依概率收敛。