★ 3
arXiv 论文：FARO 函数空间自适应优化器开源
论文提出 FARO 优化器，把参数分块作为决策单元，按各块实际反事实回报分配几何，并用组合理论中的等风险贡献原则重新分配更新预算。在 FineWeb 上训练的 GPT 风格模型中，FARO-Adaptive 达到与最佳手工配方相当的效果，FARO-ERC 在 6 个随机种子上均降低损失。代码已在 …
arXiv cs.LG3 小时前
#大模型训练
共 15 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
CAMR：面向大模型持续学习的兼容性感知记忆回放
论文提出兼容性感知记忆回放框架 CAMR，联合控制当前样本监督与历史回放，通过兼容性检查与学习式记忆门控在三种动作间做在线决策。在 Qwen3-8B-Base 上，WikiBigEdit 任务 3K 事实后原始匹配率达 93.66%，并在 TRACE 四项任务上取得最高最终分数，同时保持或提升早期…
arXiv NLP5 天前
★ 3
论文研究 Muon 优化器何时产生预条件加速效应
该论文从梯度噪声几何角度分析 Muon 优化器的理论机制，指出在经典各向同性噪声假设下 Muon 仅相当于学习率缩放。研究进一步表明，在结构化噪声下 Muon 可将任务频率依赖从线性降为平方根，有助于平衡频繁与稀有任务的学习。
arXiv cs.LG7 天前
★ 3
研究：二次型视角解析 Muon 正交化更新与牛顿-舒尔茨迭代
论文在矩阵二次型上闭式分析Muon核心的PolarGD正交化更新，指出正交化在梯度非低秩且最大奇异方向曲率大时收益明显，其速度取决于迭代点条件数而非Hessian。研究还解释Muon中少量牛顿-舒尔茨迭代为何有时比精确正交化收敛更快，并发现Transformer注意力矩阵约四分之一奇异值处于该区间。
arXiv cs.LG10 天前
★ 3
RSHD：从失败尝试中恢复监督信号，改进 GRPO 训练
该论文提出 Replay-Selected Hindsight Distillation（RSHD），在 GRPO 训练中把失败尝试转化为额外的监督来源。策略模型在看不到参考答案的情况下为每次失败写纠正笔记，再用笔记重新解题；只有当重放成功率高于原始组且笔记未泄露答案时才被采纳，并蒸馏回普通提示策…
arXiv cs.AI17 天前
★ 3
Spectrally Targeted Muon：谱选择性正交化优化器
论文提出 Spectrally Targeted Muon，仅对高于或低于阈值 τ 的奇异值做正交化，从而在归一化 SGD 与 Muon 之间插值，无需 SVD。实验发现动量的小奇异值并非噪声，Muon 的优势来自放大过小方向使其可训练；压缩最大奇异值才是保持参数谱平坦的原因，且 AdamW 与 …
arXiv cs.LG24 天前
★ 3
研究：在线策略蒸馏传技能不传知识
研究用可控合成框架分离事实知识与组合技能，测试三个家族四个模型，发现在线策略蒸馏（OPD）能稳定迁移多步推理的组合技能，但几乎不迁移事实知识。将 reverse-KL 换成 forward-KL 可恢复事实迁移，学生 rollout 则主要提升多步推理执行。结论是 OPD 不扩展模型参数化知识，只…
arXiv NLP25 天前
★ 3
并非每个Token都值得蒸馏：Direct-OPD选择性监督
论文指出Direct On-Policy Distillation的token级对数比只衡量相对变化，在概率质量消失时奖励可保持不变。作者提出S²D-OPD，按教师参考JSD对学生采样状态排序并屏蔽低散度状态的监督，仅保留每条回答前10%状态。在1.7B至8B的四个学生模型上，八个设置中七个优于稠…
arXiv cs.LG38 天前
★ 3
RA-OPD：奖励对齐的在线蒸馏防止教师误导
在线蒸馏中教师模型可能提供与结果奖励不一致的误导性指导。RA-OPD 通过过滤不一致轨迹，仅保留能推动学生走向正确方向的更新，提升学生模型性能。在数学和代码基准上显著优于标准 OPD。
arXiv cs.AI63 天前
★ 2
MASS：多掩码选择性自蒸馏提升推理抗泄漏能力
论文针对在线自蒸馏中教师仅以单一参考为条件导致推理轨迹集中的问题，提出多掩码选择性自蒸馏（MASS）。方法用同一已验证解答的多个独立掩码视图近似参考边际分布，聚合互补的教师预测并选择性迁移可靠的 token 级修正。在多个数学推理基准与模型族上稳定优于强自蒸馏基线。
arXiv cs.LG3 天前
★ 2
CONCUR：多任务多奖励强化学习的一致性辅助奖励方法
论文指出多任务强化学习中，组相对优势估计器会让被主奖励门控的辅助奖励（如长度奖励）反转主奖励排序。作者提出 CONCUR 优势估计器，用满足单调性与天花板等分条件的分数替换辅助奖励标准化分数。在数学、代码、指令遵循与写作任务上，两个变体平均表现均优于所有基线。
arXiv NLP5 天前
★ 2
Mixture-then-Select：大模型微调的组合式数据选择
论文将大模型微调的数据选择形式化为组合式数据选择（CDS），区分样本打分与子集挑选并建模样本间非加性交互。提出的 Mixture-then-Select 两阶段算法先决定各领域采样数量再在领域内排序，在真实指令微调数据池上比强基线提升 20%-54%，并可扩展到预算受限的数据购买问题。
arXiv cs.LG19 天前
★ 2
OPMD：超越输出监督的在线策略机制蒸馏
论文提出 On-Policy Mechanism Distillation（OPMD），在在线策略蒸馏中不仅监督学生模型的输出，还迁移教师模型的中间计算过程，并显式考虑其与学生下游计算的兼容性。在三种教师-学生设定下，OPMD 平均准确率均超过现有蒸馏基线，并可推广到多教师蒸馏与跨家族监督微调。分…
arXiv cs.LG19 天前
★ 2
ExpertMuon-Compass：面向MoE训练的对齐引导步长优化器
论文提出 ExpertMuon-Compass（Compass），在 Muon 优化器基础上为每个专家矩阵的更新步长乘以两个因子：家族因子比较该专家正交化更新与梯度的余弦相似度，标量半径则将更新与梯度对应行的对齐程度聚合为步长乘数。在 FineWeb-Edu 预训练中，Compass 表现不逊于甚…
arXiv cs.LG27 天前
★ 1
以998美元将3.8B大模型训练至0.384 CORE
作者Hugo Vergnes分享了以998美元成本将38亿参数大模型训练至0.384 CORE的经验。该内容在Hacker News热度较低，属于低成本训练实践的小众分享。
Hacker News53 天前
这个主题的相关资产
相关公司阿里巴巴1