技术
Soft Supervision(软监督)
Soft Supervision是一种使用软标签(概率分布)而非硬标签进行监督学习的方法,能更好地处理标签不确定性。
详细解释
传统监督学习使用one-hot硬标签,但现实中标签可能模糊或存在噪声。Soft Supervision通过提供每个类别的概率分布(如知识蒸馏中的教师模型输出、多标注者投票结果)来训练模型,使模型学习到更丰富的类别间关系。该方法在知识蒸馏、标签噪声学习和多任务学习中广泛应用。
别名与相关写法
soft supervision