Cross-Layer Attention（跨层注意力）

传统Transformer中，每一层仅处理上一层的输出，层间信息流动是单向且局部的。Cross-Layer Attention通过让当前层直接关注前面若干层的输出（如键值对来自不同层），实现跨层信息融合。这缓解了深层网络的梯度消失，提升了特征重用效率，并允许模型动态选择不同抽象级别的信息。该机制在视觉任务（如CrossViT）和自然语言处理（如Funnel Transformer）中均有应用，能减少计算量并提升性能。