★ 3
新方法用推测草稿树加速扩散模型采样
论文将扩散模型中的投机采样与相对熵编码(REC)联系起来,指出前瞻草稿不必是线性链,从而提出草稿树结构以丰富每轮候选。采用贪心拒绝采样作为草稿-目标耦合,在保证精确目标样本的同时提升接受率,实际场景下比反射耦合基线最高加速8.3%。
arXiv cs.LG46 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文将扩散模型中的投机采样与相对熵编码(REC)联系起来,指出前瞻草稿不必是线性链,从而提出草稿树结构以丰富每轮候选。采用贪心拒绝采样作为草稿-目标耦合,在保证精确目标样本的同时提升接受率,实际场景下比反射耦合基线最高加速8.3%。
论文提出 PreSTO,通过预取未来 Metropolis-Hastings 提议,在不改变转移核的前提下加速 PowerMH 采样器。在七个数据集、五个基座 LLM 上,对 PowerMH、EntropyCut、MultiTryMH 分别取得 1.71×、1.91×、2.33× 中位加速,模型调…