★ 3
aFMLM 提出异步流映射语言模型，实现单步并行生成
论文提出异步流映射语言模型（aFMLM），通过逐 token 时间调度将预测顺序编码进一步式建模，使模型在单次前向传播中生成全部 token。作者形式化了一类支持预设与学习式自适应调度的异步流，并给出流映射蒸馏方法。在数独求解与 GSM8K 代码生成任务上取得新的单步最优性能。
arXiv NLP2 小时前
#并行生成
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
HMDLM：引入层级优先级的掩码扩散语言模型，困惑度显著下降
论文提出层级掩码扩散语言模型 HMDLM，为每个 token 位置附加层级标签，分两阶段预测层级分布与 token 分布，并让各层级拥有独立噪声调度。在 LM1B 上困惑度较 ADLM 降低逾 1.5 点，WikiHow 上最多降 7 点，数独求解准确率最高提升 8.6 个百分点。
arXiv NLP11 天前
★ 3
SPOT：预测提交顺序加速扩散语言模型推测解码
论文指出扩散语言模型推测解码的关键缺口是「下一个填哪个位置」，而非 token 本身。作者提出 SPOT，用仅 0.62M 参数的模型读取目标输出分布并预测提交顺序，配合耦合噪声匹配验证支持任意温度下的树式推测。实验将目标前向次数最多减少 6.8 倍、吞吐提升至 3.2 倍，且草稿器可跨六个扩散语…
arXiv cs.LG14 天前
★ 3
Next-Concept Modeling：快速并行由粗到细文本生成
研究者提出 Next-Concept Modeling（NCM），一种两阶段由粗到细框架：多尺度残差 VQ-VAE 将文本编码为离散码层级，Transformer 逐层并行预测。在 LM1B 上生成困惑度优于最强扩散语言模型基线且快 21 倍，OpenWebText 上快 10 倍，XSum 上快…
arXiv NLP19 天前
★ 3
arXiv 论文：预测状态流 PSF 并行语言生成
论文重新划分连续扩散语言模型中扩散先验与解码器的生成角色，提出 Predictive-State Flows（PSF），让先验生成高层预测状态、解码器并行解析 token。197M 参数模型在 OpenWebText 上以更低算力取得更优生成困惑度与 MAUVE 分数。
arXiv NLP21 天前
★ 3
SchemaFill：槽位并行推测解码加速工具调用
论文提出 SchemaFill 框架，通过槽位并行推测解码提升 LLM 工具调用效率。它并发生成未来槽位值作为候选，无需预知实际调用序列，再由目标模型在实际输出前缀下验证，仅提交通过验证的 token。在 Glaive 与 BFCL 上，端到端吞吐相比自回归解码最高提升 4.05 倍。
arXiv cs.LG26 天前