★ 3
ALoDLM：自适应循环扩散语言模型
研究者提出 ALoDLM，用 token 自适应潜在循环替代扩散语言模型（DLM）中均匀的计算深度分配，让难预测的 token 获得更多迭代精修。该方法将 token 级计算调度建模为隐变量并推导条件 NELBO 进行联合训练，在 1.7B 与 8B 两个规模上训练。在 11 项基准上，ALoDL…
arXiv cs.AI27 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 ALoDLM，用 token 自适应潜在循环替代扩散语言模型（DLM）中均匀的计算深度分配，让难预测的 token 获得更多迭代精修。该方法将 token 级计算调度建模为隐变量并推导条件 NELBO 进行联合训练，在 1.7B 与 8B 两个规模上训练。在 11 项基准上，ALoDL…