★ 3
研究：Muon 优化器使首个混合专家层更难负载均衡
论文在 5500 万与 1.08 亿激活参数模型上测量 Muon 与 AdamW 对专家路由偏置跨度的影响，发现 Muon 使首个 MoE 层偏置跨度平均翻倍，最忙专家承担 4 至 7 倍公平份额。减去输入批次均值可消除过载且几乎不影响损失，小模型上降低 Muon 学习率亦有效。
arXiv cs.LG3 天前
#优化器
共 27 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：二次型视角解析 Muon 正交化更新与牛顿-舒尔茨迭代
论文在矩阵二次型上闭式分析Muon核心的PolarGD正交化更新，指出正交化在梯度非低秩且最大奇异方向曲率大时收益明显，其速度取决于迭代点条件数而非Hessian。研究还解释Muon中少量牛顿-舒尔茨迭代为何有时比精确正交化收敛更快，并发现Transformer注意力矩阵约四分之一奇异值处于该区间。
arXiv cs.LG10 天前
★ 3
研究称 LLM 训练阶段切换优化器代价有限
论文从零预训练 1.2B Llama-3 模型，系统研究 AdamW 与 Muon 在预训练、继续预训练和 SFT 阶段切换的影响。结果显示几乎不存在明显的优化器错配惩罚，后训练优化器选择可基本独立于预训练优化器。
arXiv cs.LG14 天前
★ 3
链式 LMO 优化大语言模型：TensorChain 提出
论文提出链式线性最小化预言机（chained LMOs）框架，统一 Muon 衍生的多种矩阵归一化优化器，并指出许多链式方法在光滑凸目标上可能发散。基于线性联想记忆分析链式组合的优势，提出 TensorChain 优化器，在 Qwen3 0.6B 与 1.7B 预训练中平均 token 效率优于所…
arXiv cs.LG24 天前
★ 3
Spectrally Targeted Muon：谱选择性正交化优化器
论文提出 Spectrally Targeted Muon，仅对高于或低于阈值 τ 的奇异值做正交化，从而在归一化 SGD 与 Muon 之间插值，无需 SVD。实验发现动量的小奇异值并非噪声，Muon 的优势来自放大过小方向使其可训练；压缩最大奇异值才是保持参数谱平坦的原因，且 AdamW 与 …
arXiv cs.LG24 天前
★ 3
arXiv 论文：灾难性遗忘集中于低频词输出嵌入，调高 Adam epsilon 可缓解
一篇 arXiv 论文系统分析了 LLM 持续预训练与微调中的灾难性遗忘发生位置，发现遗忘集中在训练语料中罕见 token 的输出嵌入上，而非模型主体。机制上，缺失 token 受到持续的单侧 softmax 梯度，被 Adam 二阶矩归一化放大成完整更新。作者提出仅在输出投影层提高 Adam 的…
arXiv NLP25 天前
★ 3
研究：最优优化器取决于批大小
论文挑战了优化器评估中单一批大小的基准测试惯例，指出Muon不存在跨训练设置一致的有原则缩放规则，且即使经过充分超参调优，语言模型预训练的最优优化器仍会随批大小变化。这提示优化器开发与评测需覆盖多种批大小。
arXiv cs.LG25 天前
★ 3
Muon 优化器在卷积上理论存疑但实践有效
论文指出 Muon 优化器对矩阵更新有清晰解释，但卷积核以四维张量存储，标准实现将其重塑为矩阵，破坏了其理论基础。作者在卷积算子几何中形式化优化目标并提出 Convolutional Newton-Schulz（Conv-NS），在 CIFAR-10 与 ImageNet 上与重塑版 Muon 精…
arXiv cs.LG26 天前
★ 3
Clean优化器：线性内存实现二阶LLM训练
研究者提出Clean优化器，利用随机Nyström方法近似SOAP中的左右预条件子，将优化器内存复杂度从模型维度的二次方降至线性。其低精度变体Q-Clean在预训练LLaMA-1.3B时比Muon减少超50%优化器内存，且以比AdamW更小的状态占用在26%更短墙钟时间内达到同等性能。该方法还首次…
arXiv cs.LG27 天前
★ 3
Stiefel-AdamW：面向线性分解块的几何优化器
论文提出 Stiefel-AdamW，针对 LoRA 适配器、低秩压缩层、自注意力 QK 乘积等 W=BA 线性分解块，将其中一个因子约束在 Stiefel 流形上，把完全 GL(r) 规范对称性降为紧正交对称，避免因子爆炸同时保留 AdamW 的逐坐标预条件。在 GPT2、ViT、Mistral…
arXiv cs.LG42 天前
★ 3
ISO-LoRA：各向同性曲率下联合切空间优化的秩高效微调
研究指出LoRA的名义秩只决定表示容量，优化器才决定实际使用了多少容量。在GPT-2适配案例中，AdamW的每步更新奇异谱集中、有效秩低，而Muon方向更丰富且更受益于提高LoRA秩。作者提出ISO-LoRA，通过在权重空间诱导切扰动上做谱下降耦合LoRA因子更新，在0.1B-7B模型上提升有效秩…
arXiv cs.LG49 天前
★ 2
MGO-SC：动量引导优化器为 Adam 更新加符号一致性门控
论文研究 MGO-SC，一种对 Adam 类优化器的轻量改造，利用符号指数移动平均构造逐坐标一致性门控，抑制梯度符号不稳的坐标。作者提出保均值变体以维持整体步长，在 CIFAR-10/ResNet-18 的对称与非对称标签噪声下稳定优于 AdamW 基线。
arXiv cs.LG3 天前
★ 2
Reactive Optimizers：训练过程中动态重写优化器源码
Hacker News 上讨论的 Reactive Optimizers 方案提出在训练过程中动态重写优化器源代码，使优化逻辑可随训练阶段自适应调整。该思路为优化器设计与训练策略提供了新的可编程方向。
InfoQ AI7 天前
★ 2
Ori 低秩优化器：流式 k-PCA 追踪梯度子空间
论文提出 Ori，一种面向大模型训练的低秩优化器，用受 Oja++ 启发的流式 k-PCA 算法高频追踪梯度主方向漂移。在 1B LLaMA 预训练上把低秩与全秩优化器的性能差距缩小最多 69.3%，并在 Roberta-Base 微调的 16 个任务场景中 10 个取得最佳。
arXiv cs.LG14 天前
★ 2
ΣΔ-Sampler 优化器实现边缘端二值/三值模型训练
论文提出 ΣΔ-Sampler，将随机采样与退火嵌入一阶 ΣΔ 噪声整形环路，用于二值/三值神经网络训练。在 CIFAR-10、ImageNet-1k、持续学习及 2.7B 无矩阵乘法语言模型上验证有效，训练内存降低 50% 以上、速度提升一个数量级，适合端侧大模型微调。
arXiv cs.LG14 天前
★ 2
arXiv 论文：内层优化器如何影响副本扩展性能
论文研究在地理分布式算力池训练 LLM 时，内层优化器选择对副本扩展（replica scaling）性能的影响。作者识别出伪梯度协方差结构与批大小对噪声尺度的影响两个关键因素，理论并实证表明基于白化的预条件是有力的内层优化器特性。白化内层优化器在 8-96 副本下实现强副本扩展，且随参数与数据规…
arXiv cs.LG18 天前
★ 2
Spectra 推出优化器，将 LLM 训练显存降低 50%
Spectra Labs 发布 SpectraAdamW，一种混合优化器，通过因子化方差近似与频域动量压缩，将优化器状态显存开销减少约 50%，同时保持全精度收敛行为。该优化器可作为 torch.optim.AdamW 的一行替换，目前提供 PyTorch MVP，C++ CUDA 后端处于封闭测…
Hacker News – LLM23 天前
★ 2
Phase-HDC：用梯度阈值替代优化器历史训练离散相位模型
论文提出 Phase-HDC 方法，针对参数为低比特角度的超维分类器，用当前梯度阈值替代 Adam 优化器的历史矩记录。在 11 个数据集上，其存储量比 float32 Adam 少 16-23 倍，比 8-bit Adam 少 4-6 倍，精度平均损失约 5 个百分点，但在 6 个数据集上优于 …
arXiv cs.LG24 天前
★ 2
ORACLE：优化器相对约束学习框架提出
论文提出 ORACLE 方法，将约束兼容性评估放在优化器更新之后，而非传统的事前修改目标或梯度。该方法在 8 个偏微分方程基准和 4 种优化器上，94% 配置中不劣于原生优化器，跨模型分析中 92% 配置保持同样表现。
arXiv cs.LG25 天前
★ 2
优化器几何决定矩阵分解中的谱学习动态
论文研究矩阵与曲率类优化器（SignGD、Adam、Muon、Shampoo、K-FAC）在深度矩阵分解中如何影响奇异模态的涌现与衰减。作者在平衡与对齐假设下推导出各优化器的模态诞生、饱和与衰减规律，发现并非简单的低秩偏置强弱排序：SignGD 与理想 Muon 可消除发散出生壁垒，而带阻尼的 K…
arXiv cs.LG27 天前
★ 2
ExpertMuon-Compass：面向MoE训练的对齐引导步长优化器
论文提出 ExpertMuon-Compass（Compass），在 Muon 优化器基础上为每个专家矩阵的更新步长乘以两个因子：家族因子比较该专家正交化更新与梯度的余弦相似度，标量半径则将更新与梯度对应行的对齐程度聚合为步长乘数。在 FineWeb-Edu 预训练中，Compass 表现不逊于甚…
arXiv cs.LG27 天前
★ 2
Adam 与自然梯度下降的几何距离
论文将 Adam 的完整更新规则（含动量）视为对角经验 Fisher 近似，用尺度不变度量衡量其与真实自然梯度下降的几何偏差。结果显示偏差在病态条件下显著增大，但 Adam 仍能收敛到低损失，其有效性或来自结构近似误差与动量平滑的平衡。
arXiv cs.LG31 天前
★ 2
漂移契约：面向深度鲁棒局部学习的谱更新
论文将 Muon 式谱更新几何（动量正交化加谱步长缩放）应用于逐层局部学习更新，此前尚无此类交叉研究。在 CIFAR-10 MLP 基准上，单一谱步长设置在宽度 128 至 2048、深度 12 至 48 范围内均为最优，而局部 Adam 需反复调参且深度 48 时崩溃。作者另提出将步长表述为漂移…
arXiv cs.LG39 天前
★ 2
终端收缩平均揭示大模型预训练中的调度器-估计器交互
论文指出LLM预训练通常返回原始最终迭代，耦合了学习率调度与模型估计器两个设计选择。作者提出终端收缩平均（TSA），在原始最终迭代与近期检查点平均之间插值，平衡近期进展与终端方差。实验显示该组合在NanoChat上提升验证质量，并加速了达到GPT-2水平的时间。
arXiv cs.LG40 天前
★ 2
现有预条件器能否提升生物医学表格基础学习？TabPFN 优化实证研究
研究系统评估了五种基于 AdamW 的预条件策略在 59 个生物医学数据集上微调 TabPFN v2.5 的效果，覆盖阿尔茨海默病、乳腺癌、精神分裂症等场景。结果显示原始 AdamW 在预测性能与统计排名上始终最优，现有曲率感知预条件器未能带来可靠提升。作者认为通用预条件方法难以捕捉生物医学表格学…
arXiv cs.AI40 天前
★ 2
可微物理模拟器逆问题优化器基准测试
论文构建了覆盖离散力学、连续力学、原子模拟、渲染与半经验物理模型的12个可微物理模拟器，并据此设计参数辨识、逆向设计与最优控制三类逆问题。研究系统比较了一阶、近似二阶与全局优化器的表现，为可微编程中优化器的选择与设计提供实证参考。
arXiv cs.LG48 天前
★ 2
Muon-C：面向卷积核的算子对齐Muon优化器
论文提出Muon-C，将卷积核动量表示为频率通道传递矩阵并独立极化，通过临界傅里叶网格将更新精确返回原始有限核支撑。该方法在CIFAR-10流匹配上以40k迭代达到9.87 FID，远优于展开Muon的22.26和Adam的51.31，且以更少FLOPs达到同等质量。
arXiv cs.LG53 天前