技术
Multi-Head Cross-Attention（多头交叉注意力）
多头交叉注意力是一种注意力机制，让模型从不同表示空间关注源序列与目标序列的关联。
详细解释
在Transformer中，交叉注意力用于编码器-解码器或不同模态间信息交互。多头机制将注意力拆分为多个子空间，并行计算，使模型能同时关注不同位置和语义。它广泛应用于机器翻译、视觉-语言任务，增强模型捕捉复杂依赖的能力。
别名与相关写法
multi-head cross-attention
多头交叉注意力是一种注意力机制，让模型从不同表示空间关注源序列与目标序列的关联。
在Transformer中，交叉注意力用于编码器-解码器或不同模态间信息交互。多头机制将注意力拆分为多个子空间，并行计算，使模型能同时关注不同位置和语义。它广泛应用于机器翻译、视觉-语言任务，增强模型捕捉复杂依赖的能力。