#特征蒸馏

CAFE：面向紧凑多语言语音识别的特征蒸馏方法

论文发现特征蒸馏在多语言 ASR 中未必增益，CKA 损失的梯度与英语所用子空间高度重叠。作者提出 CAFE，将 CKA 梯度限制在英语绕过的适配器中，在 Open ASR 排行榜上将平均 WER 从 8.55% 降至 8.02%，并在 24 种语言 48 个测试集上具竞争力。