★ 3
ALTO 开源配方：MXFP4 训练 MoE 大模型追平 BF16
研究开源 ALTO 训练配方，在 MLPerf Small MoE 基准上以 MXFP4 微缩放格式训练 200 亿参数 MoE 模型 GPT-OSS-20B。结合混合块量化、随机 Hadamard 变换、随机舍入与权重去振荡，验证损失 3.3350，仅比 BF16 基线高 0.007，将 FP4…
arXiv cs.AI7 天前
#低精度训练
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究系统对比 NVFP4 低精度预训练配方
论文在中型模型规模上系统比较 NVFP4 训练配方，覆盖 8B 稠密模型与 30B-A3B MoE 模型、训练至 1T token。研究提出融合无偏梯度估计的最终配方，称是当前该规模下与 BF16 损失差距最小的 FP4 训练结果。消融显示选择性高精度层对大规模精度恢复是必要的。
arXiv NLP13 天前
★ 3
格式感知融合加速 FP4 预训练
论文提出格式感知融合方法，将量化生产者与尺度域、消费者布局协同设计，用于原生 MXFP、全局 NVFP 与 CTA 局部 NVFP。在 Llama-3 系列 8B 预训练中，最快路径达 37.9K tokens/s/GPU，MXFP 路线达 86.3% BF16 模型 FLOP 利用率。
arXiv cs.LG31 天前
★ 2
TRIAGE：NVFP4 强化学习方向感知失配稳定化
论文刻画了低精度采样器与学习器执行差异与策略梯度方向的交互，提出方向感知稳定化方法 TRIAGE。在 Qwen3-4B 与 Qwen3-30B-A3B 上实现稳定优化并达到全精度水平，rollout 吞吐量最高提升 2.3 倍。
arXiv cs.LG26 天前
这个主题的相关资产
相关公司阿里巴巴1