★ 2
RangeSWA 提出免训练长度外推方法,改善扩散语言模型长文本生成
论文针对连续扩散语言模型在生成长度超过训练长度时出现的重复、语义漂移与质量下降问题,提出免训练的长度外推方法 RangeSWA。该方法结合局部滑动窗口注意力、远端块摘要与动态内容检索,并通过位置重映射、条件注意力校正与去噪阶段自适应窗口调度缓解退化。实验显示可有效降低生成困惑度与重复率。
arXiv NLP2 小时前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文针对连续扩散语言模型在生成长度超过训练长度时出现的重复、语义漂移与质量下降问题,提出免训练的长度外推方法 RangeSWA。该方法结合局部滑动窗口注意力、远端块摘要与动态内容检索,并通过位置重映射、条件注意力校正与去噪阶段自适应窗口调度缓解退化。实验显示可有效降低生成困惑度与重复率。
论文提出 DraMaze,一个面向长篇微短剧剧本生成的多智能体流水线,通过桥段记忆引导的进化树搜索探索多样因果路径,并构建反向叙事依赖树按未来剧情目标组织历史记忆。同时发布双语基准 MiDramaBench,在 60 集、6 万字剧本上因果模式重复降低 32.1%,逻辑分达 82.5。
针对长篇技术文本生成中全局逻辑一致性与技术忠实推理的难题,论文以专利撰写为典型场景提出 LogicTree-RAG。该框架通过证据引导的递归生成归纳出层级逻辑树作为全局组织骨架,每个节点代表一个技术要素,再用混合遍历机制将逻辑树映射为专利章节,实现可控且章节均衡的生成。实验显示其在内容质量与语言合…