Attention Head（注意力头）

注意力头是Transformer架构的核心组件，通过查询、键、值向量计算序列中元素间的相关性。多头注意力将模型维度分成多个头，各自独立计算后拼接，使模型能同时关注不同位置和语义关系。背景是注意力机制解决了长距离依赖问题，多头设计增强了表达能力。技术上门控和稀疏化可优化头效率。