技术
Frozen Backbone(冻结主干)
Frozen Backbone 指在迁移学习中固定预训练模型的主干网络参数,仅训练新增的任务特定层,以解决小数据下微调易过拟合和计算成本高的问题。典型应用包括计算机视觉中的线性探测和自然语言处理中的适配器微调,代表工作如 BERT 的 feature extraction。
详细解释
背景:深度学习模型参数量大,在小数据集上全参数微调易过拟合且计算昂贵。技术说明:Frozen Backbone 通过冻结预训练模型的主干权重,将其作为固定特征提取器,仅训练顶部分类器或适配器模块。这减少了可训练参数,加速训练,并保留预训练学到的通用表示。典型方法包括线性探测、适配器、LoRA 等参数高效微调技术。
别名与相关写法
frozen backbone
相关术语
Latent Reasoning共现 1 篇
相关资讯
INTACT:在冻结骨干模型上诱导潜在推理2026/10/15