Residual Stream（残差流）

Residual Stream 是 Transformer 架构中的核心概念，指从输入到输出贯穿所有层的一条线性通道。每一层的注意力机制和前馈网络通过残差连接将输出加回该通道，使信息得以累积和传递。这种设计缓解了梯度消失问题，并允许模型逐层构建复杂表示。