★ 2
首个巴斯克语开源语音语言模型发布
研究团队基于 LLaMA-Omni 架构与 Latxa 骨干模型，构建首个面向低延迟端到端语音交互的巴斯克语开源语音语言模型。为缓解数据稀缺，将英文 VoiceAssistant-400K 语料翻译为巴斯克语并用本地 TTS 合成音频，评测内容质量 3.86/5、词错误率 9.94%、UTMOS …
arXiv NLP4 天前
#语音语言模型
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文：全双工语音模型轮次风格迁移
论文识别出全双工语音语言模型中决定何时发言的单一后层残差流方向，称为 initiative vector。该方向可读取决策并提前 800 毫秒预测发言起始，缩放后可将语音占比从 6-12% 提升至 42-61%。短参考录音即可将说话人的轮次风格迁移到模型，且迁移具有参考特异性。
arXiv NLP16 天前
★ 2
合成伪方言增强提升语音语言模型方言鲁棒性
研究者提出通过标准语言 TTS 模型转换 LLM 生成的方言文本，合成伪方言语音，无需真实方言语音数据。同时引入中间标准文本预测作为语义归一化。在日语、德语和中文方言的方言到英语语音翻译评估中，该方法显著提升性能。
arXiv NLP24 天前