★ 3
Seq-Drifting:单步前向生成整段文本
论文提出Seq-Drifting框架,将漂移方法应用于连续token表征序列,直接学习从高斯噪声到文本的映射,推理时一次前向生成全部token。在LM1B上单步生成困惑度36.01,并在翻译、摘要和推理任务上展现适用性。
arXiv cs.AI21 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出Seq-Drifting框架,将漂移方法应用于连续token表征序列,直接学习从高斯噪声到文本的映射,推理时一次前向生成全部token。在LM1B上单步生成困惑度36.01,并在翻译、摘要和推理任务上展现适用性。