★ 3
ALTO 开源配方：MXFP4 训练 MoE 大模型追平 BF16
研究开源 ALTO 训练配方，在 MLPerf Small MoE 基准上以 MXFP4 微缩放格式训练 200 亿参数 MoE 模型 GPT-OSS-20B。结合混合块量化、随机 Hadamard 变换、随机舍入与权重去振荡，验证损失 3.3350，仅比 BF16 基线高 0.007，将 FP4…
arXiv cs.AI7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究开源 ALTO 训练配方，在 MLPerf Small MoE 基准上以 MXFP4 微缩放格式训练 200 亿参数 MoE 模型 GPT-OSS-20B。结合混合块量化、随机 Hadamard 变换、随机舍入与权重去振荡，验证损失 3.3350，仅比 BF16 基线高 0.007，将 FP4…