★ 4
KITE：面向高效智能体 LLM 扩展的 KV 不变 Transformer 扩展
论文提出 KV 不变 Transformer 扩展（KITE），通过 upcycling 从小模型扩展到大模型，并将新增参数放在不影响注意力 KV 的区域，从而同时节省训练与推理成本。具体实例 Step Scale Transformer（SST）为 67B MoE 模型，每解码 token 仅 …
arXiv cs.LG39 天前
#训练效率
共 28 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LRMoE 系统在显存受限节点上加速 MoE 模型训练
论文提出 LRMoE，一种显存感知的 MoE 训练系统，在反向传播中按 token-专家对更新贡献重新校准负载，并通过容量感知路由与物理压缩减少通信与计算开销。在 Qwen3-30B-A3B 与 GLM4.5-106B-A12B 上，达到固定损失目标的累计 MoE 层训练时间比 SYMI 减少 2…
arXiv cs.AI3 天前
★ 3
DuplexTune：耦合状态重放降低 MoE 微调显存
论文提出 DuplexTune，通过可训练宽度桥连接两条残差流，重放耦合隐藏状态以适配 MoE 模型，并冻结路由权重。在 Qwen1.5-MoE-A2.7B 单卡 H800 上，峰值显存 38.8GB（对比带检查点的监督微调 64.8GB），吞吐 25.1 对 19.9 样本/秒，MMLU 67.…
arXiv cs.LG5 天前
★ 3
Layerwise Repacking：混合注意力变长训练免重分配
论文提出 Layerwise Repacking，在混合注意力模型中保留 SP16/32 父组处理全注意力，将样本重打包进节点内 SP1/2/4/8 稀疏子组，并复用现有 Ulysses 通信点完成头部交换与重打包，避免额外重分配。在 1F3S 混合注意力模型前 200 步的 22 个步骤上，端到…
arXiv cs.LG5 天前
★ 3
清华提出 DiffusionRVGE：用回归值梯度估计加速扩散模型强化学习
清华大学团队提出 DiffusionRVGE，通过将中心化奖励回归到中心化去噪图像来构造更新方向，无需奖励导数或沿采样轨迹的反向传播。在 SD3.5-Medium 上联合训练五种奖励，八项指标中七项追平或超过 DiffusionNFT，训练算力约为其五分之一。单奖励训练下达到同等奖励阈值快 2.1…
arXiv cs.AI13 天前
★ 3
CCR 并发约束强化学习：8k 窗口替代 32k，训练 token 省 82%
论文延续 Batched Contextual Reinforcement，提出并发约束强化（CCR），把三道可验证题目放进一次受限训练补全中，截断前完成的正确答案仍保留信用。相比 32k 窗口的单题 GRPO，CCR 用 8,000 token 窗口在 4B 与 8B 数学推理模型上分别节省 8…
arXiv cs.LG14 天前
★ 3
TurboMamba 架构发布：训练推理更快、预测更准
研究者提出 TurboMamba 语言模型架构，由全局 Mamba-3 模型与小型 Transformer 组合，并加入三项轻量改进提升局部预测。在 FineWeb-Edu 上对比十二个模型，其平均 NLL 比 Mamba-3 低 9.4%，端到端训练吞吐量达 Mamba-3 的 2.60 倍，批…
arXiv cs.LG17 天前
★ 3
固定优先训练：自适应深度只是收尾阶段
论文提出 fixed-first training，仅在训练末期短暂阶段变化循环 Transformer 的深度，而非全程自适应深度训练。在 2 亿参数模型上可减少约 45% 训练算力，10 亿参数模型减少 31%–37% 算力与约三成墙钟时间，性能损失极小。结果表明全深度范围训练可压缩到收尾阶段。
arXiv cs.LG19 天前
★ 3
研究：Priming 技术免重训改造 AI 模型架构
一项名为 Priming 的新方法可复用预训练 Transformer 权重，在不从头重训的前提下构建更高效的模型架构。其成本不到原始训练的 1%，吞吐量最高可达两倍，为模型架构改造提供了低成本路径。
Amazon Science Blog20 天前
★ 3
STAPLE：通过嵌入模块静态稀疏升级预训练模型
论文提出 STAPLE，在 STEM 基础上将静态稀疏记忆以残差路径方式集成到预训练模型中，保留原有计算并学习互补的 token 特定信息。在 OLMo-2 1B 上，HumanEval 提升 4.27 分，GSM8K 提升 2.27 分，且提升随静态容量增加而持续，在 OLMo-2 7B 上同样…
arXiv cs.LG21 天前
★ 3
DiffusionART：扩散模型高效稳定强化学习框架
论文提出 DiffusionART，通过将每个提示的奖励聚合为共享的奖励改进方向，消除 NFT 类目标中的前向-反向一致性力，并加入信任域掩码二次更新实现漂移自适应恢复。方法无需可微奖励模型与 EMA 调参，在图像与视频生成上高效稳定。在 HunyuanVideo-13B 上，达到 Diffusi…
arXiv cs.LG21 天前
★ 3
新论文提出不确定性引导渐进收缩，推理后训练预算降至0.22%
该研究提出不确定性引导的渐进收缩框架，用蒙特卡洛推理树刻画过程级不确定性，先将语料收缩为紧凑教师池，再在SFT中按学生状态在线路由优化。实验显示仅用全量数据SFT的0.22%优化预算、训练曝光减少450倍以上，仍能维持或提升推理性能，并可跨学生模型族与黑盒教师泛化。
arXiv cs.AI21 天前
★ 3
arXiv 论文提出 Semi-OPD：离线学生轨迹蒸馏常优于在线策略蒸馏
一篇新 arXiv 论文质疑在线策略蒸馏（OPD）是否总优于其他方案，提出 Semi-OPD——用初始学生模型生成的离线轨迹进行蒸馏。在 17 组师生模型对（1.5B 至 235B 参数）中，Semi-OPD 在 14 组上优于 OPD，最高提升 13.6% 准确率并实现 11.4 倍训练加速。研…
arXiv NLP24 天前
★ 3
KDFP：大模型通用知识蒸馏新方法
论文提出 KDFP，一种面向大语言模型的白盒通用知识蒸馏方法，弥补以往只蒸馏指令跟随、思维链等后训练能力的空白。在 9 个基准上比现有方法提升 1.6%–4.9%，并通过临时参数削减将训练效率最高提升 99.1%，有助于边缘设备上的高效私有部署。
arXiv cs.LG24 天前
★ 3
Muon 优化器在卷积上理论存疑但实践有效
论文指出 Muon 优化器对矩阵更新有清晰解释，但卷积核以四维张量存储，标准实现将其重塑为矩阵，破坏了其理论基础。作者在卷积算子几何中形式化优化目标并提出 Convolutional Newton-Schulz（Conv-NS），在 CIFAR-10 与 ImageNet 上与重塑版 Muon 精…
arXiv cs.LG26 天前
★ 3
DART-ES：难度感知的进化策略微调
论文针对进化策略（ES）微调大模型时奖励均匀平均、难以反映题目学习价值变化的问题，提出 DART-ES。该方法根据扰动群体的通过率估计题目难度状态，联合指导难度重加权与稀有可解样本回放。实验在五个基座模型上均优于 ES，GSM8K 平均准确率从 72.07% 提升至 73.53%，且相比 GRPO…
arXiv cs.LG26 天前
★ 3
SR-OPD：成功参照的在线策略蒸馏
针对在线策略蒸馏（OPD）需为每条rollout提供教师监督、计算开销大的问题，提出SR-OPD：当同一提示下学生既有成功又有失败rollout时，以成功rollout为参照优先选择隐状态轨迹持续偏离的失败样本进行监督。在六个数学推理基准上仅用原方法3.46-5.02%的教师输入token即保持相…
arXiv cs.AI28 天前
★ 3
论文：短多项式程序加速 LLM 特殊函数运算
论文探索用短多项式程序加速大模型中的特殊函数单元运算，在 NVIDIA Blackwell 上替换 sigmoid、tanh、SiLU 等为三至四次 BF16 多项式。隔离路径提速 1.19–2.19 倍，训练步吞吐提升最高 8%，且训练损失差异极小。
arXiv cs.LG31 天前
★ 3
推理大模型强化学习的 Rollout 效率：分类与未来方向
该综述系统梳理了面向推理的强化学习在大模型训练中的 rollout 效率问题。由于轨迹生成占据了训练成本的主要部分，作者从机制与瓶颈两个视角对现有方法进行分类，分析不同技术族如何应对 rollout 低效来源，并探讨组合机会与潜在冲突。文章还指出效率增益评估与报告中的空白，并提出开放挑战与未来研究…
arXiv cs.AI40 天前
★ 3
DA3PO：难度感知优势放大提升动态采样效率
DAPO 的动态采样虽稳定训练但效率低，因为它无法有效利用困难提示上的正确响应。DA3PO 通过放大困难正确响应的优势，提高训练效率，仅需少于 30 行代码修改，在多个基准上显著优于 GRPO 变体。
arXiv cs.AI63 天前
★ 2
研究：循环语言模型训练中反向传播窗口与预算取舍
论文研究重复 Transformer 层（循环语言模型）训练时反向传播窗口长度的选择问题，比较长窗口（每 token 学习效率高但单次更新成本高）与短窗口在不同训练预算下的相对表现。结果显示预算增大时短窗口优势大幅衰减，最优窗口会随预算变化而改变，说明窗口比较必须结合可用算力预算。
arXiv NLP3 天前
★ 2
arXiv 论文量化循环 Transformer 截断反向传播丢失的梯度
论文在 9 个循环语言模型上精确测量了只对最后 k 次循环反向传播所丢弃的权重梯度。发现训练好的模型中丢失梯度主要由输出附近决定，循环数远超 k 后几乎不随循环数变化；微调过程中丢失梯度还会下降 0.07-0.22。作者未能证明该指标比无需测量的规则更能预测截断训练成本。
arXiv cs.LG11 天前
★ 2
LIFT：用部分推理轨迹实现免训练提示选择
针对 RLVR 训练成本高的问题，论文提出免训练数据选择器 LIFT，仅用部分推理轨迹即可评估提示价值，核心指标 PRCL 通过 token 级对数似然比打分。在 Qwen2.5-Math-1.5B 与 DeepSeek-R1-Distill-1.5B 上，LIFT 将选择成本降低 3.7 至 9…
arXiv cs.AI13 天前
★ 2
Ori 低秩优化器：流式 k-PCA 追踪梯度子空间
论文提出 Ori，一种面向大模型训练的低秩优化器，用受 Oja++ 启发的流式 k-PCA 算法高频追踪梯度主方向漂移。在 1B LLaMA 预训练上把低秩与全秩优化器的性能差距缩小最多 69.3%，并在 Roberta-Base 微调的 16 个任务场景中 10 个取得最佳。
arXiv cs.LG14 天前
★ 2
SAZO：样本自适应零阶微调方法提出
论文提出 Sample-Adaptive Zeroth-Order Optimization（SAZO），在线学习样本重要性并自适应分配查询，加速大模型零阶微调收敛。方法无需真实梯度，仅比 MeZO 多 O(N) 标量状态，理论证明其收敛率严格更快。四个模型族实验显示平均下游性能提升，达到相同训练…
arXiv cs.LG21 天前
★ 2
EDiS：图神经网络边不相交子图稀疏化
arXiv 论文提出 EDiS 框架，将图一次性分解为可缓存的边不相交子图，再按边预算约束跨轮次重组为训练图，无需重复提取结构。在 19 个节点分类基准上对比 17 个基线，取得最高平均分与最低平均排名，在紧边预算下优势最明显。
arXiv cs.LG25 天前
★ 2
自适应覆盖与聚焦采样的神经场学习
论文提出 ACES 结构化采样框架，通过解耦覆盖与重要性提升隐式神经表示的训练效率，构建自适应空间划分并施加区域级重要性加权。理论分析表明自适应划分可降低梯度方差，实验显示其收敛更快、误差更低。
arXiv cs.LG28 天前
★ 2
Muon-C：面向卷积核的算子对齐Muon优化器
论文提出Muon-C，将卷积核动量表示为频率通道传递矩阵并独立极化，通过临界傅里叶网格将更新精确返回原始有限核支撑。该方法在CIFAR-10流匹配上以40k迭代达到9.87 FID，远优于展开Muon的22.26和Adam的51.31，且以更少FLOPs达到同等质量。
arXiv cs.LG53 天前