★ 3
aFMLM 提出异步流映射语言模型,实现单步并行生成
论文提出异步流映射语言模型(aFMLM),通过逐 token 时间调度将预测顺序编码进一步式建模,使模型在单次前向传播中生成全部 token。作者形式化了一类支持预设与学习式自适应调度的异步流,并给出流映射蒸馏方法。在数独求解与 GSM8K 代码生成任务上取得新的单步最优性能。
arXiv NLP8 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出异步流映射语言模型(aFMLM),通过逐 token 时间调度将预测顺序编码进一步式建模,使模型在单次前向传播中生成全部 token。作者形式化了一类支持预设与学习式自适应调度的异步流,并给出流映射蒸馏方法。在数独求解与 GSM8K 代码生成任务上取得新的单步最优性能。