★ 2
arXiv 论文提出区域非均匀前向动力学改进离散扩散
该论文重新设计离散语言扩散的前向过程，将吸收核与均匀混合核按区域速率组合，使上下文在训练中接受低速率随机替换。在 170M 参数掩码扩散模型上微调不到 5 小时，即可在随机损坏下以 0.96 召回率检测损坏上下文，10% 损坏时填充 F1 提升 3.8 点。作者将吸收扩散解释为「信任轴」的无限对比…
arXiv cs.LG14 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文重新设计离散语言扩散的前向过程，将吸收核与均匀混合核按区域速率组合，使上下文在训练中接受低速率随机替换。在 170M 参数掩码扩散模型上微调不到 5 小时，即可在随机损坏下以 0.96 召回率检测损坏上下文，10% 损坏时填充 F1 提升 3.8 点。作者将吸收扩散解释为「信任轴」的无限对比…