★ 3
研究用冻结多模态 LLM 低成本适配词级全双工语音对话
论文提出 thinker-talker 级联架构，在 80ms 帧时钟上保持多模态 LLM 冻结，仅训练 9700 万参数的轻量适配器与新 token 嵌入，将停顿、让出与起话表示为同词表 token 并由有限状态机约束。四阶段课程约 30 GPU 小时完成转换，在 Full-Duplex-Ben…
arXiv NLP6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 thinker-talker 级联架构，在 80ms 帧时钟上保持多模态 LLM 冻结，仅训练 9700 万参数的轻量适配器与新 token 嵌入，将停顿、让出与起话表示为同词表 token 并由有限状态机约束。四阶段课程约 30 GPU 小时完成转换，在 Full-Duplex-Ben…