★ 2
BabyLM 研究：韵律结构提升音素语言模型语义组织
论文在 BabyLM 规模下比较正字法基线与三种音韵丰富度条件，训练 1000 万与 1 亿词的 BERT 掩码语言模型，并新建词汇判断与两项语义组织任务。结果显示带韵律标注的音素流在两个规模上都给出最强的分类学组织，且带边界结构的音素模型可与正字法基线竞争。研究还指出此前部分音素模型结果存在伪影。
arXiv NLP13 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文在 BabyLM 规模下比较正字法基线与三种音韵丰富度条件，训练 1000 万与 1 亿词的 BERT 掩码语言模型，并新建词汇判断与两项语义组织任务。结果显示带韵律标注的音素流在两个规模上都给出最强的分类学组织，且带边界结构的音素模型可与正字法基线竞争。研究还指出此前部分音素模型结果存在伪影。
论文探索韵律到文本的反向任务，仅用 12 个最低 Mel 频段（约 450Hz 低通滤波）微调 Whisper 模型，取得 WER 36% 的意外准确结果，10% 语句完全恢复。研究还发现给定正确前缀时下一 token 预测正确率达 79%，表明低频语音特征与词汇内容的关联比此前认为的更强。