技术
Residual Vector（残差向量）
Residual Vector 是深度残差网络中的核心概念，指通过跳跃连接将输入直接加到输出上的向量，用于缓解梯度消失和网络退化问题。它使超深网络训练成为可能，典型代表是 ResNet，广泛应用于图像分类、目标检测等计算机视觉任务。
详细解释
在深度神经网络中，随着层数增加，梯度消失和网络退化问题导致模型难以训练。Residual Vector 通过残差块实现：假设期望映射为 H(x)，网络学习残差 F(x) = H(x) - x，则输出为 F(x) + x。这种跳跃连接使得梯度可以直接回传，缓解了梯度消失，并让网络更容易学习恒等映射。ResNet 通过堆叠残差块成功训练了超过百层的网络，并在 ImageNet 等基准上取得突破。残差思想也被推广到 Transformer 等架构中。
别名与相关写法
residual vector
相关术语
上下文窗口共现 1 篇
Long-Context共现 1 篇
相关资讯
残差向量重建实现超上下文窗口长文本召回2026/9/14