Diffusion Transformer

Diffusion Transformer（DiT）由William Peebles和Saining Xie于2023年提出，将扩散模型中的U-Net骨干替换为Transformer。扩散模型通过逐步去噪生成数据，而Transformer擅长建模长程依赖，两者结合提升了生成质量和可扩展性。DiT将图像分块为序列，输入Transformer，并条件于时间步和类别。实验表明，DiT在ImageNet上取得了优于U-Net的FID分数，且模型越大性能越好。此后，DiT被广泛应用于视频生成（如Sora）和文本到图像生成，成为生成式AI的重要架构。