★ 3
研究揭示离散扩散模型逐步生成置信度的理论局限
论文研究离散扩散模型（含remasking与uniform-state采样器）的生成机制，指出只有当写入位置在已固定token条件下相互独立时，单步才匹配训练分布。研究表明逐位置分布的乘积无法匹配存在依赖关系的token组。
Apple Machine Learning Research31 天前
#离散扩散
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文提出区域非均匀前向动力学改进离散扩散
该论文重新设计离散语言扩散的前向过程，将吸收核与均匀混合核按区域速率组合，使上下文在训练中接受低速率随机替换。在 170M 参数掩码扩散模型上微调不到 5 小时，即可在随机损坏下以 0.96 召回率检测损坏上下文，10% 损坏时填充 F1 提升 3.8 点。作者将吸收扩散解释为「信任轴」的无限对比…
arXiv cs.LG14 天前
★ 2
结构候选限制的离散扩散大图生成
论文提出一种离散图扩散模型，将训练限制在结构驱动的节点对子集（观测边及其楔形非边），使训练复杂度低于节点数的平方，从而支持大规模图生成。模型设计三分类吸收式前向过程，采用度感知、带下限的余弦噪声调度，避免完全抹除图结构。实验显示其在大图生成的结构保真度上持续位居离散扩散基线前列。
arXiv cs.AI27 天前
★ 2
COFFEE：离散扩散的序列级引导框架
离散扩散模型并行生成序列，但用序列级目标引导时因未解析token组合爆炸而难以实现。论文提出COFFEE，将序列依赖与目标分离，用无目标载体构建联合模型，并用编译有限状态模型记录组合偏好。该方法无需重训练即可支持硬约束与软目标，在符号、语言和生物基准上取得良好控制效果。
arXiv cs.AI33 天前
★ 2
基于演化变分自回归网络的离散扩散模型
论文提出用变分自回归网络参数化归一化概率分布的离散扩散模型，通过显式马尔可夫跳跃算子控制加噪与去噪动态，将离散扩散扩展到高维晶格自旋系统。在二维与三维 Ising 模型的序、临界与无序相中准确计算自由能、能量与磁化强度，并结合蒙特卡洛采样提升低温接受率与样本多样性。
arXiv cs.LG39 天前