#长度外推

RangeSWA 提出免训练长度外推方法，改善扩散语言模型长文本生成

论文针对连续扩散语言模型在生成长度超过训练长度时出现的重复、语义漂移与质量下降问题，提出免训练的长度外推方法 RangeSWA。该方法结合局部滑动窗口注意力、远端块摘要与动态内容检索，并通过位置重映射、条件注意力校正与去噪阶段自适应窗口调度缓解退化。实验显示可有效降低生成困惑度与重复率。