Diffusion Language Model（扩散语言模型）

传统自回归语言模型按从左到右顺序生成文本，难以并行化且难以建模全局约束。扩散语言模型借鉴图像扩散模型，在连续词嵌入空间或离散词元上定义前向加噪和反向去噪过程，通过迭代去噪恢复原始文本。早期工作Diffusion-LM在连续隐空间进行扩散，后续工作如PLANNER和DiffuSeq探索离散扩散，提升生成效率和质量。该技术可应用于文本生成、翻译、改写和可控生成，但面临离散数据建模和生成速度的挑战。