Joint-Embedding Predictive Architecture

JEPA由Yann LeCun提出，属于非生成式自监督学习框架。它让编码器分别处理上下文和目标，在嵌入空间预测被遮挡部分的表示，避免重建像素级细节带来的计算浪费和对无关信息的建模。该架构被认为更接近人类抽象认知方式，是构建世界模型和高效视觉、多模态表征学习的重要方向。