★ 3
LARE：按损失重加权，1.5B 模型预训练五基准平均提升 7.84 分
论文提出 LARE 方法，在不改变数据混合比例的前提下，依据运行损失统计自动调整各领域权重。在 240B token 训练的 1.5B 模型上，五个基准平均提升 7.84 个百分点，GSM8K 提升 17.06 分、MATH 提升 9.00 分。
arXiv cs.LG7 天前
#训练优化
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 论文提出 TrainBridge：借 GPU 编译证据优化昇腾 NPU 训练
论文针对昇腾 NPU 训练中算子融合等编译优化仅部分生效的问题，提出智能体方法 TrainBridge，把成熟 GPU 编译栈的高优化执行作为参考，提取优化意图指导 NPU 程序重写并迭代剖析精修。在覆盖 LLM 预训练、图像分类与视觉语言训练的四个负载上平均加速 1.7 倍，27 项 Modde…
arXiv NLP11 天前
★ 3
FlashNext-RL：Qwen3.8-Flash-Next 长程智能体 RL 系统优化
论文提出 FlashNext-RL，针对 Qwen3.8-Flash-Next 的架构与内存布局优化长程智能体强化学习训练，基于 prime-rl 并用 vLLM 生成软件工程 rollout。在单台 8xB200 节点上，非填充训练吞吐从约 395 提升至 4438 tokens/s/GPU，并…
arXiv cs.LG11 天前
★ 3
NormTune：按权重更新范数引导的参数高效微调
论文发现参数高效微调（PEFT）在推理密集任务上落后于全量微调，与权重更新范数偏小的「欠适配」相关。提出 NormTune，按各层权重更新范数自适应增强更新不足的层。在 S1K-1.1 上训练后，rank-8 LoRA、Bone、MoRA 在 AIME 2024、MATH 500、GPQA、AIM…
arXiv cs.AI11 天前
★ 3
Q-PACE：量化感知训练动态精度分配
arXiv 论文提出 Q-PACE，用二阶敏感度模型预测量化噪声带来的损失增量，训练中周期性重算逐层曲率系数并重新分配精度。在最高 4B 参数 LLM 的预训练和监督微调中持续优于现有混合精度方案，在显著更低内存预算下达到相当损失。
arXiv cs.LG25 天前
★ 3
Temperon：以更少训练时间达到全时 SAM 质量
论文提出 Temperon 训练策略：前 43% 轮次用普通 SGD 探索，随后一次性切换，将整个余弦退火阶段交给 SAM 包裹的 Muon 精修器。在 CIFAR、SVHN、Tiny ImageNet 上精度追平全时 SAM，并在三个数据集上提前 32%–35% 达到最难目标。该分配规律可迁移至…
arXiv cs.LG46 天前
★ 2
NanoForecast v0.5：6.5M参数时序预测模型通过训练管线优化追平31倍大模型
研究者发布 NanoForecast v0.5，一个仅 6.5M 参数的时间序列预测模型，在架构不变的前提下通过修正损失范围处理、张量形状对齐和扩大数据增强，将 MASE 从 3.030 降至 1.704，降幅 43.8%。它在全部三个 ETT 数据集和汇率任务上超过 200M 参数的 Times…
arXiv cs.LG34 天前