★ 3
CoBit:连续比特流扩散统一多模态联合生成
论文将原用于语言建模的连续比特流扩散(CoBit)扩展为统一多模态生成框架,用同一训练与采样协议处理图像-文本、语音-文本与蛋白质序列-结构建模。单个检查点即可支持联合生成与条件生成,语音-文本联合生成词错率 3.5%,蛋白质重折叠自洽 TM-score 达 0.911。
arXiv NLP19 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文将原用于语言建模的连续比特流扩散(CoBit)扩展为统一多模态生成框架,用同一训练与采样协议处理图像-文本、语音-文本与蛋白质序列-结构建模。单个检查点即可支持联合生成与条件生成,语音-文本联合生成词错率 3.5%,蛋白质重折叠自洽 TM-score 达 0.911。
Rezzmo 推出一款 AI 原生通信应用,可在通话过程中提供实时 AI 辅助。产品主打将 AI 能力直接嵌入实时语音交流场景。