★ 3
研究揭示全双工语音模型长对话崩溃机制
论文提出全双工长时程基准 FD-LHB,测试五款近期全双工语音模型,发现它们最终都会退化或耗尽上下文。作者定位到初始化锚点驱逐与自我重复两个机制,并提出初始化锚点固定与双工重复惩罚两项免重训修复,可显著减少长达一小时回放中的对话崩溃。
arXiv NLP7 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出全双工长时程基准 FD-LHB,测试五款近期全双工语音模型,发现它们最终都会退化或耗尽上下文。作者定位到初始化锚点驱逐与自我重复两个机制,并提出初始化锚点固定与双工重复惩罚两项免重训修复,可显著减少长达一小时回放中的对话崩溃。
研究显示,在 PersonaMem-v2 基准上,通过句子级检索构建的相关性过滤上下文仅用 5% 文本即可匹配全历史准确率,将输入缩减约 20 倍。检索方法只需小型嵌入模型,而 LLM 摘要需读取全部历史,表明更好的上下文选择有望超越全历史。