Contrastive Activation（对比激活）

Contrastive Activation 的核心思想是利用对比学习框架，拉近相似样本的激活分布，推远不同样本的激活分布。在自监督学习中，如 SimCLR 和 MoCo，通过对比不同增强视图的激活来学习不变表示。在可解释性领域，该方法用于识别对特定类别敏感的神经元，例如对比猫和狗图像激活的差异。此外，在持续学习中，对比激活有助于缓解灾难性遗忘。该技术结合了对比学习和激活分析，提升了模型的鲁棒性和可解释性。