Importance Sampling（重要性采样）

重要性采样通过引入重要性权重（目标分布与提议分布的比值）来无偏估计目标分布的期望。在强化学习中，它允许使用旧策略产生的数据来评估新策略，从而提高数据效率。然而，当分布差异大时，权重方差可能很高，导致估计不稳定。为此，PPO采用裁剪重要性权重，TRPO使用KL约束。重要性采样也用于自然语言处理中的序列生成和变分推断。