★ 3
Clean优化器：线性内存实现二阶LLM训练
研究者提出Clean优化器，利用随机Nyström方法近似SOAP中的左右预条件子，将优化器内存复杂度从模型维度的二次方降至线性。其低精度变体Q-Clean在预训练LLaMA-1.3B时比Muon减少超50%优化器内存，且以比AdamW更小的状态占用在26%更短墙钟时间内达到同等性能。该方法还首次…
arXiv cs.LG27 天前
#二阶优化
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
CA-DPSGD：用近似二阶信息缓解差分隐私训练裁剪偏差
论文提出曲率感知的差分隐私随机梯度下降框架 CA-DPSGD，利用近似二阶信息构建最优裁剪空间，并配合各向异性噪声机制保障隐私。实验显示其优于现有主流裁剪方法。
arXiv cs.LG7 天前
★ 2
海森矩阵与梯度协方差矩阵的子空间稳定机制
该论文研究神经网络训练中二阶信息的关键现象——海森矩阵顶部子空间的稳定性。作者提出新的子空间演化不稳定度指标，发现梯度协方差矩阵的顶部子空间具有类似性质，并通过类间/类内分解给出对顶部 (C-1) 子空间的近乎完美近似。在梯度流框架下，作者将这种缓慢演化归因于海森矩阵离群特征值与主体特征值之间的分…
arXiv cs.LG34 天前
这个主题的相关资产
相关公司Ollama1