技术
Teacher-Student Networks（教师学生网络）
Teacher-Student Networks是一种知识蒸馏框架，用大模型（教师）指导小模型（学生）学习，提升小模型性能。
详细解释
教师模型通常预训练且性能强，学生模型轻量。学生通过模仿教师输出（软标签）或中间特征，学习泛化能力。广泛应用于模型压缩、跨模态蒸馏，如DistilBERT，平衡精度与效率。
别名与相关写法
teacher-student networks
相关术语
SHAP共现 1 篇
相关资讯
教师几何结构决定师生网络可学习性2026/9/10