CLIP（对比语言-图像预训练）

CLIP采用双塔架构，分别用ViT或ResNet编码图像、Transformer编码文本，通过对比损失拉近匹配对、推开非匹配对。训练后，模型能计算图像与任意文本描述的相似度，无需微调即可完成分类。其零样本能力在ImageNet上媲美全监督模型，并成为DALL·E、Stable Diffusion等文生图模型的基础组件，推动了多模态学习的发展。