Recurrent Depth（递归深度）

Recurrent Depth在Transformer中引入循环，使同一层被多次应用，模拟更深网络。背景是深层网络训练困难，但深度对性能重要。技术如Universal Transformer和Depth-Adaptive Transformer，通过动态调整循环次数或权重共享，在保持参数效率的同时增强模型能力。它属于模型架构创新，用于提升长程依赖建模。