Z-loss（Z 损失）

Z-loss最初在Google的MoE模型训练中被提出，用于解决大规模稀疏模型训练中logits数值爆炸导致的不稳定问题。其核心思想是在损失函数中加入一项对logits平方和的惩罚，通常形式为λ * (logsumexp(logits))^2，从而约束logits的幅度，避免softmax计算时出现数值溢出。该技术能有效提升训练稳定性，尤其适用于混合专家模型和大规模Transformer训练。