★ 2
论文提出 SZO-κ 谱零阶优化方法改进无反向传播训练
论文针对神经形态芯片、异步系统等非传统硬件上反向传播难以适用的问题，改进零阶优化方法。作者从前向传播中的激活几何推导搜索方向，提出 Spectral Zeroth-Order（SZO-κ）方法族，缓解高维空间随机扰动与真实梯度错位的问题，并在多层网络与卷积网络上分析梯度对齐、偏差方差与训练稳定性。
arXiv cs.LG9 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文针对神经形态芯片、异步系统等非传统硬件上反向传播难以适用的问题，改进零阶优化方法。作者从前向传播中的激活几何推导搜索方向，提出 Spectral Zeroth-Order（SZO-κ）方法族，缓解高维空间随机扰动与真实梯度错位的问题，并在多层网络与卷积网络上分析梯度对齐、偏差方差与训练稳定性。