★ 2
研究提出分布鲁棒 BEST-RQ 语音表征学习方法
论文针对 BEST-RQ 自监督语音表征对量化目标选择敏感的问题,提出按码本分组、以组分布鲁棒优化(DRO)自适应重加权表现差的组,并用 KL 散度正则约束分布偏移。在 Multilingual LibriSpeech 上,该方法优于多码本均匀平均的基线。
arXiv NLP6 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文针对 BEST-RQ 自监督语音表征对量化目标选择敏感的问题,提出按码本分组、以组分布鲁棒优化(DRO)自适应重加权表现差的组,并用 KL 散度正则约束分布偏移。在 Multilingual LibriSpeech 上,该方法优于多码本均匀平均的基线。