★ 3
研究：高斯先验何时失效？RL 微调的潜空间几何分析
论文指出潜扩散模型默认的高斯先验在强化学习微调下存在结构性缺陷：VAE 的 KL 项会压缩多峰数据并加剧模式重叠，导致策略崩溃。在丙氨酸二肽玻尔兹曼分布上，高斯先验 VAE 崩溃阈值 0.224，而模式追踪的高斯混合先验仅 0.00316，相差 71 倍，作者将差距归因于潜空间几何中介并给出条件性…
arXiv cs.LG11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出潜扩散模型默认的高斯先验在强化学习微调下存在结构性缺陷：VAE 的 KL 项会压缩多峰数据并加剧模式重叠，导致策略崩溃。在丙氨酸二肽玻尔兹曼分布上，高斯先验 VAE 崩溃阈值 0.224，而模式追踪的高斯混合先验仅 0.00316，相差 71 倍，作者将差距归因于潜空间几何中介并给出条件性…