技术
Conditional Mean Collapse(条件均值坍缩)
条件均值坍缩指生成模型在条件生成任务中,输出退化为条件均值的现象,导致样本缺乏多样性。它解决了生成模型对条件分布建模不足的问题,典型应用包括文本到图像生成和条件GAN,代表工作有条件GAN和扩散模型中的模式崩溃研究。
详细解释
在条件生成模型中,模型需要学习条件分布p(x|y)。当模型容量不足或训练目标倾向于最小化均方误差时,模型可能忽略条件y的细节,直接输出所有可能x的均值,即E[x|y]的估计,导致生成样本模糊且缺乏多样性。这种现象称为条件均值坍缩。它常见于条件GAN、条件VAE和扩散模型中,尤其在条件信息较弱或训练数据不平衡时。解决方法包括引入感知损失、对抗损失、以及改进条件注入机制,如条件归一化、注意力机制等。
别名与相关写法
conditional mean collapse