LLaDA

LLaDA（Large Language Diffusion with mAsking）由上海人工智能实验室等机构提出，采用离散扩散过程，在生成时从完全掩码的序列开始，通过迭代去噪恢复出文本。与GPT等自回归模型逐词预测不同，LLaDA可以并行生成并利用双向上下文，在训练中使用了掩码语言建模目标。该模型展示了扩散模型在语言生成任务上的潜力，为LLM架构提供了新思路。