★ 3
研究系统对比 NVFP4 低精度预训练配方
论文在中型模型规模上系统比较 NVFP4 训练配方，覆盖 8B 稠密模型与 30B-A3B MoE 模型、训练至 1T token。研究提出融合无偏梯度估计的最终配方，称是当前该规模下与 BF16 损失差距最小的 FP4 训练结果。消融显示选择性高精度层对大规模精度恢复是必要的。
arXiv NLP13 天前
#FP4
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
格式感知融合加速 FP4 预训练
论文提出格式感知融合方法，将量化生产者与尺度域、消费者布局协同设计，用于原生 MXFP、全局 NVFP 与 CTA 局部 NVFP。在 Llama-3 系列 8B 预训练中，最快路径达 37.9K tokens/s/GPU，MXFP 路线达 86.3% BF16 模型 FLOP 利用率。
arXiv cs.LG31 天前
这个主题的相关资产
相关术语FP4 Quantization