谷歌发布 Gemini 3.8 Live 实时语音模型
谷歌推出 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款实时对话模型,主打更自然的语音交互与并行推理。Extended Thinking 在 Artificial Analysis 语音质量指数上以 82.6 分登顶,并在 τ-Voic…
共 14 篇相关资讯,按重要度与时间排序,每 3 小时更新。
谷歌推出 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款实时对话模型,主打更自然的语音交互与并行推理。Extended Thinking 在 Artificial Analysis 语音质量指数上以 82.6 分登顶,并在 τ-Voic…
Gemini 3.1 Flash Live 语音模型提高了精度并降低了延迟,使语音交互更流畅、自然和精确。该模型旨在提升实时语音AI体验。
论文提出全双工长时程基准 FD-LHB,测试五款近期全双工语音模型,发现它们最终都会退化或耗尽上下文。作者定位到初始化锚点驱逐与自我重复两个机制,并提出初始化锚点固定与双工重复惩罚两项免重训修复,可显著减少长达一小时回放中的对话崩溃。
Block 推出新的语音模型,官方称其声音听起来极为自然,接近真人。该模型可在 MacBook M4 Max 上本地运行,强调端侧部署能力。
Jack Dorsey 旗下 Block 发布 AI 语音模型 Dessa,完全基于人类对话从零训练,是真正的语音到语音全双工模型,可在 MacBook Pro M4 Max 本地运行。官方称其目标是提升人机理解与语音情感安全,将向少量 AI 安全研究者开放早期访问。
Mistral 推出 Voxtral 3,为其语音/音频模型的新版本。该发布延续了 Mistral 在多模态与语音交互方向的布局,可能进一步影响欧洲开源语音模型生态。
一篇 arXiv 论文提出针对实时语音模型「何时开口」决策的新评测方法,在 176 段无脚本对话的 427 个停顿与 482 个话轮结束点上测试六套系统。结果显示,GPT Realtime、Gemini 3.1 Flash Live、Grok Voice 等托管 API 几乎在每个停顿都抢话,延迟…
微软宣布推出MAI-Transcribe-2-Streaming,并同时发布MAI-Voice-2.1和MAI-Voice-2.1-Flash两款语音模型。MAI-Transcribe-2-Streaming年底前以每音频小时0.54美元首发优惠价提供,MAI-Voice-2.1定价每百万字符22…
Hacker News 上关于 Dessa 的讨论帖获得 107 分热度与 34 条评论,社区将其称为迄今最真实的语音到语音全双工模型。讨论聚焦其纯语音训练路径与自然对话表现。
研究假设自监督语音模型中的 CNN 局部特征提取层可被简单通用模型替代,通过从 HuBERT、data2vec、WavLM 蒸馏学习两层特征提取器。在 SUPERB(-SG) 基准上基本保持教师模型性能,并可迁移至 wav2vec 2.0。该提取器仅需 CNN 3% 的 MACs,整体推理时间减少…
研究者发布首个音素错误检测基准 PEDBench,涵盖儿童真实发音错误、演员脚本错误与合成错误共 2600 余条。评估 13 个先进语音模型发现,即便在受控条件下它们也难以可靠检测音素错误,且精确率偏低。基于合成数据微调的语音语言模型在词级检测上超越商业与开源基线。
该论文提出一种轻量级方法,直接从语音中检测语码转换(同一话语内语言交替),无需依赖准确的多语言转录文本。方法利用预训练语音模型帧级的语言信息,可在大型语音集合中高效筛选含语码转换的语句,用于扩充训练数据。
arXiv 新论文提出「音系干扰」概念,指出音素级语音模型默认输入为单一语言,从而在语码转换和低资源语言上丢失大量音素,损失率达 32% 至 79%。作者通过内部激活定位到低维子空间,并提出窗口化语言估计(WLE)推理修复方法,可消除 34% 至 69% 的干扰,且不损害单语性能。
研究在全开源全双工语音语言模型 Moshi 上,用均值差激活引导方法研究四种情绪的引导效果,每帧仅需少量向量加法且无需重训练。结果显示情绪可从残差流线性解码,但激活引导仅部分可行且不均衡:快乐、愤怒、惊讶共享方向,悲伤可独立引导。