技术
KL Regularization（KL 正则化）
KL正则化是在优化目标中加入KL散度项，约束模型分布不过度偏离参考分布，以提升稳定性和泛化。它解决策略更新过大或过拟合问题，典型应用于强化学习（如PPO）和语言模型微调（如RLHF）。
详细解释
KL散度衡量两个概率分布的差异。在强化学习中，KL正则化防止新策略偏离旧策略太远，确保训练稳定，如TRPO、PPO。在语言模型微调中，如RLHF，KL项约束微调模型不偏离预训练模型，避免退化。系数控制约束强度。该技术平衡探索与利用，广泛应用于生成模型和决策系统。
别名与相关写法
kl regularization