GPT-Live-1 登陆 API 支持自然语音
OpenAI 在 API 中推出 GPT-Live-1,带来自然的全双工语音对话能力。该模型具备更强的指令遵循、自定义音色以及电话通信支持,为开发者构建语音应用提供新基础。
共 7 篇相关资讯,按重要度与时间排序,每 3 小时更新。
OpenAI 在 API 中推出 GPT-Live-1,带来自然的全双工语音对话能力。该模型具备更强的指令遵循、自定义音色以及电话通信支持,为开发者构建语音应用提供新基础。
Jack Dorsey 旗下 Block 发布 AI 语音模型 Dessa,完全基于人类对话从零训练,是真正的语音到语音全双工模型,可在 MacBook Pro M4 Max 本地运行。官方称其目标是提升人机理解与语音情感安全,将向少量 AI 安全研究者开放早期访问。
论文提出 DuplexAgent 全双工协作系统,将任务接受、进度、取消、替换与结果交付等工作流表达为六个可编辑模块,并通过 Duplex-Harness-RSI 闭环从交互轨迹中自动修订模块。实验显示其在口语知识与可执行工具评分上优于对比的委派系统,同时保持强中断响应能力。
针对全双工语音智能体大量小型封闭决策依赖慢速自回归解码的问题,提出DuplexJev:将ASR编码器隐状态经小型连接器送入冻结LLM,以单token分布读出答案,无需解码。8卡节点约0.1秒完成80项决策,语音问答接近读转录文本,并能识别性别与情绪。
openJiuwen 发布 workSwarm,支持全双工多模态交互,用户可像聊天一样与 Agent 协作,并原生亲和昇腾算力。该方案将多模态理解与实时双向交互结合,面向国产算力生态的智能体应用落地。
全双工语音对话模型支持低延迟轮转、打断与附和,但可操控性——按用户指令可靠调整语气、人设、语速与音色——仍未被充分探索。论文提出文本与音频可操控性分类体系,并基于 Moshi 微调出 SteerDuplex,采用两阶段混合奖励强化学习改善时序与响应连续性。配套 SteerBench 含 390 条…
Hacker News 上关于 Dessa 的讨论帖获得 107 分热度与 34 条评论,社区将其称为迄今最真实的语音到语音全双工模型。讨论聚焦其纯语音训练路径与自然对话表现。