Attention Bias（注意力偏置）

Attention Bias（注意力偏置）指在计算注意力分数时，除了查询-键点积外，额外加入一个可学习的或固定的偏置矩阵。例如，在T5模型的相对位置编码中，注意力偏置根据查询和键的距离进行参数化；在视觉Transformer中，偏置可编码空间关系。它增强了模型对位置、顺序或任务特定先验的建模能力，是Transformer变体中的常见设计。