Diffusion LLM

扩散语言模型将文本视为可加噪的离散或连续序列，训练模型从噪声中恢复原文，生成时可并行迭代细化整段文本。其优势在于并行解码、可控生成与全局规划，挑战在于离散文本的去噪建模、采样效率与质量。近年已有研究探索其在代码、推理与掩码填充任务上的潜力。