技术
InfoNCE(InfoNCE 损失)
InfoNCE是一种对比学习损失函数,通过最大化正样本对间的互信息下界来学习有效表示。
详细解释
InfoNCE基于噪声对比估计,将互信息最大化转化为分类问题:给定一个正样本和多个负样本,模型需正确识别正样本。它广泛应用于自监督学习(如SimCLR、MoCo),通过对比正负样本对学习判别性特征,其理论下界与互信息紧密相关。
别名与相关写法
infonce
InfoNCE是一种对比学习损失函数,通过最大化正样本对间的互信息下界来学习有效表示。
InfoNCE基于噪声对比估计,将互信息最大化转化为分类问题:给定一个正样本和多个负样本,模型需正确识别正样本。它广泛应用于自监督学习(如SimCLR、MoCo),通过对比正负样本对学习判别性特征,其理论下界与互信息紧密相关。