谷歌推出Gemini 3.8 Live实时虚拟形象功能
谷歌宣布推出搭载实时虚拟形象功能的Gemini 3.8 Live,即日起在Gemini Enterprise中提供。该功能具备原生多语言语音到语音同步能力,可动态调整唇形与表情,并在97种语言间无缝切换而不损失视频保真度。
共 18 篇相关资讯,按重要度与时间排序,每 3 小时更新。
谷歌宣布推出搭载实时虚拟形象功能的Gemini 3.8 Live,即日起在Gemini Enterprise中提供。该功能具备原生多语言语音到语音同步能力,可动态调整唇形与表情,并在97种语言间无缝切换而不损失视频保真度。
谷歌推出 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 两款文本转语音模型,支持从零生成自定义角色音色并精细控制口音与情绪。模型在 Hume AI 语音设计基准上取得第一,并已接入 AI Studio、Gemini API、Gemini Enterprise 等产品。
Gemini 3.1 Flash TTS 引入了粒度音频标签,提供对AI语音的精确控制,用于生成富有表现力的音频。该模型提升了语音合成的自然度和可控性。
论文在不做预训练/中训练的前提下,通过 ARPAbet 词表扩展、音素增强监督微调与免训练推理期声学偏置,为预训练对话式 TTS 模型补上音素可控性。在 7500 条临床药名读音评测中,Gemini 判定的严格正确率从 54.6% 升至 90.7%,且全部为域外测试,说明模型学到的是发音而非记忆。
研究者发布 ELARSpeech,一个包含 30,202 小时语音、覆盖 675 种低资源语言的大规模多语言语音数据集,语料来自濒危语言档案库。实验表明该数据集可扩展 ASR 与 TTS 在长尾语言上的能力,伪标注无标签数据还能进一步提升效果。团队同时公开数据集、训练好的 ASR/TTS 模型及完…
AI音乐平台Suno从音乐领域拓展至语音生成,推出Speech功能公测版。用户可基于脚本或提示词生成配音,并同时搭配AI背景音乐,最长约8分钟。此举意在多元化平台业务,应对其音乐生成器面临的诸多诉讼。
火山引擎推出全新语音内容编辑模型,可像修改文字一样直接编辑语音内容。该能力有望简化配音、播客与音频后期流程,降低语音内容生产的门槛。这是语音生成与编辑方向在产品化上的一次推进。
ElevenLabs发布其迄今最具表现力的文本转语音AI模型Eleven v4,进一步提升语音合成的情感表达与自然度。该模型面向内容创作、配音等场景,巩固其在TTS领域的竞争力。
论文提出 ReACT-TTS 两阶段框架,利用回应前一秒的听者面部序列来规划下一句话的情绪与韵律。在 MELD 双人对话协议上,时序条件在十个随机种子下均优于纯文本条件,宏观 F1 与 VAD 一致性更高。20 位语音研究者的情境适配研究中,76% 的判断偏好时序方案,并接入 Grad-TTS 实…
研究者用 12.8 小时 Common Voice 爱尔兰语语音微调 Qwen3-TTS,并修正厂商微调脚本两处缺陷,跨语料字符错误率降至 0.225。随后将维基词典发音记录编译为词典与音素判别器,用于拒绝式微调,跨语料 CER 进一步降至 0.159、域内 0.067,同时揭示训练数据方言严重失…
论文提出 X-Dubbing,将跨语言配音拆解为时间感知的语音转文本翻译与视频感知的文本转语音两个联合问题,由配音翻译器生成时间结构化脚本、配音演员模型同步渲染。方法无需成对配音数据,在等时性与音画一致性等指标上优于近期基线。
一项关于可控文本转语音(Controllable TTS)的研究显示,该技术能让合成语音更具表现力,并使不同角色的声音更鲜明、更一致,适用于有声书等长文本朗读场景。
一段实测视频展示了当前 AI 克隆(声音/形象复制)技术的实际表现,结论是效果远不如宣传中理想。视频指出克隆内容在细节、自然度与可辨识度上存在明显缺陷,提醒用户对相关产品的成熟度保持警惕。
研究提出 AphaVoice,一个专为合成高度逼真失语症语音设计的 TTS 框架,用于医护人员培训模拟。相比现有先进 TTS 系统,其在时间指标上更能捕捉不流畅这一临床特征,并借助潜空间偏移支持多说话人生成而不损失语音真实度。
论文提出 AegisVox,通过为说话人分配一致的替代声音、并对含身份标识的对话轮次做文档一致替换,在保护临床语音隐私的同时保留停顿、语速与角色等临床证据。在 390 段共 63.6 小时的模拟对话上对比两种语音渲染器,发现替换实现更好可能伴随更差的临床或说话人关联指标,强调需按用途评估权衡而非保…
论文为动态发音模型 DYNARTmo 增加声学与气动扩展:由手势轨迹生成声道几何,转换为带鼻腔分支的声管,并用集总气动网络关联声门运动与肺压。声门激励、口腔摩擦与声门送气分别合成,帧响应以重叠相加组合。作者以三个德语词演示,但独立感知评测尚未完成。
一个提供免费无限量AI文本转语音服务的网站,用户无需注册即可使用。该工具面向需要快速生成语音内容的普通用户,降低了TTS的使用门槛。