★ 2
arXiv 论文：EEG 与文本语义对齐解码想象语音
研究者提出一种多模态对比学习框架，将 EEG 试次与冻结预训练文本编码器的语言表示在嵌入空间中对齐，用于想象语音解码。该方法在 Chisco 数据集 39 类意图上取得与闭集分类器相当的精度，并支持相似度检索与可靠性排序。
arXiv cs.LG17 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出一种多模态对比学习框架，将 EEG 试次与冻结预训练文本编码器的语言表示在嵌入空间中对齐，用于想象语音解码。该方法在 Chisco 数据集 39 类意图上取得与闭集分类器相当的精度，并支持相似度检索与可靠性排序。
研究者利用配对的「聆听-想象」MEG数据集，在训练阶段用对比学习将脑磁图表征与声学及上下文语言表征对齐，在推理阶段引入神经约束的束搜索框架，把神经证据与语言模型的下一个词概率结合。结果显示，想象语音解码从语言模型中获益明显多于聆听语音，且最优权重更偏向语言模型。这表明当神经证据较弱时，语言先验最有…