★ 3
研究称 LLM 训练阶段切换优化器代价有限
论文从零预训练 1.2B Llama-3 模型，系统研究 AdamW 与 Muon 在预训练、继续预训练和 SFT 阶段切换的影响。结果显示几乎不存在明显的优化器错配惩罚，后训练优化器选择可基本独立于预训练优化器。
arXiv cs.LG14 天前
#AdamW
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
MGO-SC：动量引导优化器为 Adam 更新加符号一致性门控
论文研究 MGO-SC，一种对 Adam 类优化器的轻量改造，利用符号指数移动平均构造逐坐标一致性门控，抑制梯度符号不稳的坐标。作者提出保均值变体以维持整体步长，在 CIFAR-10/ResNet-18 的对称与非对称标签噪声下稳定优于 AdamW 基线。
arXiv cs.LG3 天前
★ 2
Spectra 推出优化器，将 LLM 训练显存降低 50%
Spectra Labs 发布 SpectraAdamW，一种混合优化器，通过因子化方差近似与频域动量压缩，将优化器状态显存开销减少约 50%，同时保持全精度收敛行为。该优化器可作为 torch.optim.AdamW 的一行替换，目前提供 PyTorch MVP，C++ CUDA 后端处于封闭测…
Hacker News – LLM24 天前