★ 2
自适应互惠知识蒸馏方法AR-KD
研究提出自适应互惠知识蒸馏（AR-KD），通过将教师模型的类相关矩阵与学生关系表示对齐，重塑教师预测结构以适配学生容量，缓解过度自信教师导致的类间暗知识崩塌。在CIFAR-100与ImageNet-1k上，学生准确率最高提升7.13%，优于现有最先进蒸馏基线。
arXiv cs.LG48 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究提出自适应互惠知识蒸馏（AR-KD），通过将教师模型的类相关矩阵与学生关系表示对齐，重塑教师预测结构以适配学生容量，缓解过度自信教师导致的类间暗知识崩塌。在CIFAR-100与ImageNet-1k上，学生准确率最高提升7.13%，优于现有最先进蒸馏基线。