Cross-Modal Attention（跨模态注意力）

跨模态注意力源于Transformer的自注意力机制，通过查询-键-值计算不同模态间的关联权重。它允许文本token关注图像区域，或反之，从而捕捉跨模态语义对应。该技术解决了多模态数据异构性带来的融合难题，是视觉-语言预训练模型的核心组件，推动了多模态理解与生成的发展。