Cross-Attention（交叉注意力）

交叉注意力是Transformer中的一种注意力机制，查询（Query）来自一个序列，键（Key）和值（Value）来自另一个序列，从而建立跨序列的关联。在机器翻译中，解码器通过交叉注意力关注编码器的输出；在多模态模型中，文本特征可关注图像特征。它使模型能动态聚焦于相关信息，提升长距离依赖建模能力。