各方报道 1 篇
arXiv cs.LG·10-19 12:00★ 2
LeMA 分布式框架让十亿参数网络跑精确 Levenberg-Marquardt 训练
原文 论文提出 LeMA，用精确对偶形式消除 LMA 对参数维度的内存依赖，并通过 Jacobian 分片并行计算避免物化完整雅可比矩阵。在 8 卡节点上训练 10 亿参数卷积网络，相比单卡实现 7.97 倍加速、99.7% 强扩展效率，无需近似 PCG 求解。
论文提出 LeMA，用精确对偶形式消除 LMA 对参数维度的内存依赖，并通过 Jacobian 分片并行计算避免物化完整雅可比矩阵。在 8 卡节点上训练 10 亿参数卷积网络，相比单卡实现 7.97 倍加速、99.7% 强扩展效率，无需近似 PCG 求解。