Attention Residuals（注意力残差）

注意力残差是一种改进Transformer架构的技术，通过残差连接增强注意力机制的信息流动，解决深层网络训练中的梯度消失和表示瓶颈问题。典型应用包括深层Transformer模型，代表工作有RealFormer和残差注意力网络。