★ 2
LeMA 分布式框架让十亿参数网络跑精确 Levenberg-Marquardt 训练
论文提出 LeMA，用精确对偶形式消除 LMA 对参数维度的内存依赖，并通过 Jacobian 分片并行计算避免物化完整雅可比矩阵。在 8 卡节点上训练 10 亿参数卷积网络，相比单卡实现 7.97 倍加速、99.7% 强扩展效率，无需近似 PCG 求解。
arXiv cs.LG14 天前
#优化算法
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
SAZO：样本自适应零阶微调方法提出
论文提出 Sample-Adaptive Zeroth-Order Optimization（SAZO），在线学习样本重要性并自适应分配查询，加速大模型零阶微调收敛。方法无需真实梯度，仅比 MeZO 多 O(N) 标量状态，理论证明其收敛率严格更快。四个模型族实验显示平均下游性能提升，达到相同训练…
arXiv cs.LG21 天前
★ 2
面向可行 Gromov-Wasserstein 学习的自适应 Bregman 交替投影
论文针对 Gromov-Wasserstein 问题中固定惩罚松弛导致持续可行性缺口的问题，提出自适应 KL-BAPG 方法，结合固定惩罚预热与受保护的递增惩罚阶段。作者证明回溯有限终止、可行性缺口渐近消失，并给出最优迭代的 O(1/log N) 界与平稳累积点存在性。实验显示该方法在保持精度与目…
arXiv cs.LG27 天前
★ 2
联邦变分不等式优化取得更快收敛率
论文研究求解随机变分不等式的联邦优化问题，指出现有收敛率与联邦凸优化最优界之间存在显著差距。作者通过精细分析证明经典 Local Extra SGD 算法可获得更紧的保证，并建立了一系列改进的收敛率。
Apple Machine Learning Research35 天前
★ 1
连续延迟记忆 SGD 与连续时间强化学习
论文回顾了用神经网络参数化随机微分方程（SDE）建模类星体光变曲线的历史。作者提出连续延迟记忆随机梯度下降（CDM-SGD），依赖离散迭代过程的过去状态，在二维景观上展现出更广探索与更精确收敛。同时提出无需解 HJB 偏微分方程的连续时间策略梯度强化学习结构。
arXiv cs.LG42 天前
这个主题的相关资产
相关公司ElevenLabs1