ControlNet（控制网络）

ControlNet在预训练的扩散模型（如Stable Diffusion）旁复制其编码器，并通过零卷积层连接，从而在不破坏原模型能力的前提下注入条件控制。训练时，原模型参数冻结，仅更新ControlNet分支，使其学习条件映射。支持多种条件类型，如Canny边缘、HED边缘、深度图、法线图、语义分割和人体姿态。该技术由Lvmin Zhang等人于2023年提出，显著提升了生成图像的结构准确性和用户控制力，成为AIGC领域的重要工具。