技术
FP8（8 位浮点）
FP8 是一种 8 位浮点数格式，用于深度学习训练和推理，解决大模型计算和存储开销过大的问题，典型应用包括 NVIDIA H100 等 GPU 上的混合精度训练，能显著提升计算效率并降低内存占用。
详细解释
FP8 由 NVIDIA、Arm 和 Intel 联合提出，有两种变体：E4M3（4 位指数，3 位尾数）和 E5M2（5 位指数，2 位尾数）。E4M3 精度更高，适合前向传播；E5M2 动态范围更大，适合反向传播。FP8 在保持模型精度的同时，相比 FP16 可减少一半内存占用和翻倍计算吞吐。NVIDIA Hopper 架构 GPU 原生支持 FP8，Transformer 引擎可自动管理 FP8 与 FP16 的转换。FP8 已成为大模型训练和推理的重要加速技术。
别名与相关写法
fp8