Diffusion LM（扩散语言模型）

扩散语言模型将文本生成视为一个去噪扩散过程：前向过程逐步向文本添加噪声，反向过程学习从噪声中恢复原始文本。与自回归模型不同，扩散 LM 可以并行生成所有 token，并支持双向上下文。早期工作 Diffusion-LM 使用连续嵌入空间，后续如 SEDD 和 Plaid 在离散空间上直接建模，提升了生成质量和效率。该方向在可控生成、机器翻译和代码生成中展现出潜力。