技术
KL Divergence（KL 散度）
KL散度（Kullback-Leibler Divergence）是衡量两个概率分布差异的非对称度量，用于量化用分布Q近似真实分布P时的信息损失。它解决了分布比较与优化问题，在机器学习中广泛用于变分推断、生成模型（如VAE）和策略优化（如PPO）。
详细解释
KL散度定义为D_KL(P||Q)=∑P(x)log(P(x)/Q(x))，衡量用Q编码P所需的额外比特数。它非负且不对称，当P=Q时为零。在变分推断中，KL散度用于近似后验分布；在生成模型中，VAE的损失包含KL项以正则化潜在空间；在强化学习中，PPO使用KL散度约束策略更新幅度。此外，KL散度也用于知识蒸馏，让学生模型分布逼近教师模型。
别名与相关写法
kl divergence