Dark Knowledge（暗知识）

在知识蒸馏中，教师模型对错误类别的预测概率（软标签）包含了类别间的相对关系，例如将“2”误判为“3”的概率远高于“7”，这种信息被称为暗知识。它比硬标签提供更丰富的监督信号，能指导学生模型学习到更泛化的表示。Hinton 等人提出用温度参数软化 softmax 输出，并让学生模型匹配教师的软分布。暗知识使得小模型在相同数据下达到更高精度，广泛应用于模型压缩与加速。