技术
BF16
一种16位浮点数格式,具有8位指数和7位尾数,在深度学习中平衡了数值范围和精度。
详细解释
BF16(Brain Floating Point)由 Google 提出,与 FP32 具有相同的指数位宽,因此动态范围与 FP32 一致,但尾数精度较低。它非常适合深度学习训练和推理,能减少内存占用和加速计算,同时避免 FP16 常见的溢出问题。现代 AI 加速器普遍支持 BF16。
别名与相关写法
bf16
相关术语
GPU共现 1 篇
相关资讯
ALTO 开源配方:MXFP4 训练 MoE 大模型追平 BF162026/10/26