★ 2
语言模型助力MEG脑电解码想象语音
研究者利用配对的「聆听-想象」MEG数据集,在训练阶段用对比学习将脑磁图表征与声学及上下文语言表征对齐,在推理阶段引入神经约束的束搜索框架,把神经证据与语言模型的下一个词概率结合。结果显示,想象语音解码从语言模型中获益明显多于聆听语音,且最优权重更偏向语言模型。这表明当神经证据较弱时,语言先验最有…
arXiv cs.LG34 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者利用配对的「聆听-想象」MEG数据集,在训练阶段用对比学习将脑磁图表征与声学及上下文语言表征对齐,在推理阶段引入神经约束的束搜索框架,把神经证据与语言模型的下一个词概率结合。结果显示,想象语音解码从语言模型中获益明显多于聆听语音,且最优权重更偏向语言模型。这表明当神经证据较弱时,语言先验最有…