★ 2
LeMA 分布式框架让十亿参数网络跑精确 Levenberg-Marquardt 训练
论文提出 LeMA，用精确对偶形式消除 LMA 对参数维度的内存依赖，并通过 Jacobian 分片并行计算避免物化完整雅可比矩阵。在 8 卡节点上训练 10 亿参数卷积网络，相比单卡实现 7.97 倍加速、99.7% 强扩展效率，无需近似 PCG 求解。
arXiv cs.LG14 天前
#多GPU
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
基于电阻曲率的可扩展子图采样
论文提出以电阻曲率为指导的子图采样框架，核心是 ERC-LG 曲率近似方法，结合 Johnson-Lindenstrauss 投影与正则化多 GPU 批量共轭梯度求解器，避免显式拉普拉斯伪逆与全嵌入存储。曲率用于指导节点与边的采样概率以构建 GNN 训练子图。在七个真实数据集的节点分类任务中，六个…
arXiv cs.LG39 天前
这个主题的相关资产
相关公司ElevenLabs1