★ 2
研究蒸馏通用语音局部特征提取器，推理提速超 20%
研究假设自监督语音模型中的 CNN 局部特征提取层可被简单通用模型替代，通过从 HuBERT、data2vec、WavLM 蒸馏学习两层特征提取器。在 SUPERB(-SG) 基准上基本保持教师模型性能，并可迁移至 wav2vec 2.0。该提取器仅需 CNN 3% 的 MACs，整体推理时间减少…
arXiv NLP13 天前
#特征提取
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究假设自监督语音模型中的 CNN 局部特征提取层可被简单通用模型替代，通过从 HuBERT、data2vec、WavLM 蒸馏学习两层特征提取器。在 SUPERB(-SG) 基准上基本保持教师模型性能，并可迁移至 wav2vec 2.0。该提取器仅需 CNN 3% 的 MACs，整体推理时间减少…