★ 4
Sakana AI提出PC-ALM，可训练千层网络
Sakana AI研究者提出增广拉格朗日预测编码（PC-ALM），作为反向传播的层局部替代方案。通过为每层约束附加拉格朗日乘子，PC-ALM在保留预测编码局部更新的同时，在线性网络中可精确恢复反向传播梯度。实验显示其可训练1000层残差MLP，在MNIST上仅落后反向传播约2个百分点，MIT许可的…
MarkTechPost48 天前
#训练方法
共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Bi-Phase Training：少参数高效预训练方法
论文提出双阶段训练 BPT，用可训练对角矩阵与低秩适配器组合出高秩权重更新并周期性合并进冻结基座，保留全参数优化的高秩学习动态。在 Qwen2.5 100M 至 1.5B 与 OLMo-2-1B 上，1.5B 规模可减少 66% 可训练参数而验证困惑度仅小幅上升。
arXiv cs.LG3 天前
★ 3
研究：Muon 优化器使首个混合专家层更难负载均衡
论文在 5500 万与 1.08 亿激活参数模型上测量 Muon 与 AdamW 对专家路由偏置跨度的影响，发现 Muon 使首个 MoE 层偏置跨度平均翻倍，最忙专家承担 4 至 7 倍公平份额。减去输入批次均值可消除过载且几乎不影响损失，小模型上降低 Muon 学习率亦有效。
arXiv cs.LG3 天前
★ 3
arXiv 提出 Conceptizer：在下一词预测外增加语义奖励
Conceptizer 训练框架在下一词预测之外引入约 9000 个概念构成的固定词表，将下一词分布映射为概念分布，把目标语义的奖励分摊到多种可能表述上，且不增加模型参数。在 1B 至 8B 参数的 3 个模型家族上，概念目标位置困惑度最低，知识与情感任务表现提升。
arXiv NLP6 天前
★ 3
arXiv 提出 PRISM 训练框架提升 LLM 采样多样性
针对大模型模式坍缩问题，研究提出训练期框架 PRISM，结合子模挑选为每个提示配对多样且正确的多教师解答，并通过随机嵌入调制将特殊 token 扰动转化为采样多样输出的隐式信号。在 WritingPrompts 与 BookMIA 上，PRISM 在保持最强或接近最强语义多样性的同时取得最佳生成质…
arXiv cs.LG7 天前
★ 3
论文提出分布鲁棒 MoE 训练方法 DRMoET
论文提出DRMoET，将逐层专家视为内生鲁棒性分组，优化高损失路由结果而非仅均衡流量。通过熵正则化softmax规则更新专家分布，强化可能的非top路由路径。在FLAME-MoE配方746M与10.3B规模上，DRMoET在七任务平均分上优于标准与无辅助损失均衡基线，并降低专家损失方差、改善领域专…
arXiv cs.LG26 天前
★ 3
Seg-OPD：分段在线策略蒸馏修正推理
针对token级在线策略蒸馏无法提供连贯的替代推理步骤、且在退化前缀上会强化错误模式的问题，提出分段在线策略蒸馏Seg-OPD：基于不确定性指标选择学生片段并获取教师重写，训练学生偏好教师重写同时保留token级监督。在数学推理与竞赛编程任务上平均相对提升5.22%。
arXiv cs.AI28 天前
★ 2
arXiv 论文用超参数迁移与集成改进数据受限扩展
针对高质量训练数据增长跟不上算力的问题，论文指出以往数据受限扩展方案固定权重衰减等超参数、忽视集成，可能导致损失随算力上升。作者拟合幂律迁移超参数并给出集成算力分配法则，在 FineWeb 1 亿 token 上困惑度降低 14%。
arXiv cs.LG3 天前
★ 2
AI学习范式讨论：既需名师指引也需自我修行
文章探讨人工智能正从人机“言传身教”式监督学习，走向“触类旁通”的自学范式。作者认为AI能力提升既依赖高质量指导数据，也需要模型自主探索与自我进化。
量子位6 天前
★ 2
研究：预测特权信息有效性以改进在线自蒸馏
论文系统评估在线自蒸馏（OPSD）中特权信息（PI）的内容与构造方式，覆盖 16 种 PI 配置、三个多轮智能体基准与三个不同规模学生模型。发现信息密集轨迹与更强生成器产出的 PI 收益更大，思考型模型收益不稳定；并提出基于 KL 的指标在训练前预测 PI 效果，与 GRPO 结合可超越强基线。
arXiv cs.LG14 天前
★ 2
分阶段深度训练：面向PINN的表征课程
论文提出「表征课程」训练范式，让表征被显式学习、独立于预测器迁移并逐步精炼，具体实现为分阶段深度训练（SDT）：先用临时物理信息头训练浅层前缀，丢弃该头后冻结前缀并加深网络。在PINNacle的20个默认正问题、三种骨干网络上，SDT在59个等预算组合中的40个至少提升5%，PirateNet风格…
arXiv cs.LG35 天前
★ 2