★ 3
多带宽分布匹配蒸馏:DMD 与漂移模型等价性证明
论文证明将预训练扩散/流式生成模型的速度场/噪声场转换为漂移模型中的吸引力场,并从生成分布估计排斥力场后,训练漂移模型自然等价于分布匹配蒸馏(DMD/DMD2)。基于该等价视角提出改进方法多带宽分布匹配蒸馏(MBDMD),用于一步生成模型。
arXiv cs.LG24 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文证明将预训练扩散/流式生成模型的速度场/噪声场转换为漂移模型中的吸引力场,并从生成分布估计排斥力场后,训练漂移模型自然等价于分布匹配蒸馏(DMD/DMD2)。基于该等价视角提出改进方法多带宽分布匹配蒸馏(MBDMD),用于一步生成模型。