★ 3
HMDLM：引入层级优先级的掩码扩散语言模型，困惑度显著下降
论文提出层级掩码扩散语言模型 HMDLM，为每个 token 位置附加层级标签，分两阶段预测层级分布与 token 分布，并让各层级拥有独立噪声调度。在 LM1B 上困惑度较 ADLM 降低逾 1.5 点，WikiHow 上最多降 7 点，数独求解准确率最高提升 8.6 个百分点。
arXiv NLP11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出层级掩码扩散语言模型 HMDLM，为每个 token 位置附加层级标签，分两阶段预测层级分布与 token 分布，并让各层级拥有独立噪声调度。在 LM1B 上困惑度较 ADLM 降低逾 1.5 点，WikiHow 上最多降 7 点，数独求解准确率最高提升 8.6 个百分点。