#中心极限定理

无需中心极限定理的稳定初始化

论文针对正弦激活网络提出均匀相位初始化，绕开传统随机网络理论中依赖中心极限定理控制神经元间依赖的做法，消除分布近似误差并完全解耦各层。这是首个利用正弦函数周期对称性的工作。使用该初始化的模型在图像与音频拟合等神经表示任务上优于现有最优方法，并支持 μP 宽度缩放。