arXiv NLP·19 天前★ 3

Next-Concept Modeling:快速并行由粗到细文本生成

原文标题:Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

研究者提出 Next-Concept Modeling(NCM),一种两阶段由粗到细框架:多尺度残差 VQ- 将文本编码为离散码层级, 逐层并行预测。在 LM1B 上生成困惑度优于最强扩散语言模型基线且快 21 倍,OpenWebText 上快 10 倍,XSum 上快 31 倍。

深读 · 结论先行AI 生成展开看要点与影响 ↓

NCM由粗到细并行生成文本,LM1B上困惑度优于最强且快21倍。

  • •两阶段由粗到细框架:多尺度残差VQ-VAE编码文本为离散码层级,Transformer逐层并行预测
  • •LM1B上生成困惑度优于最强扩散语言模型基线,速度快21倍
  • •OpenWebText上速度提升10倍且与最强DLM相当;XSum上ROUGE-L持平且快31倍
  • •在数独推理任务上,NCM以更少函数评估次数超过自回归与扩散基线

为什么重要:成为主导负载的背景下,该方案在保持质量的同时大幅降低采样步数,对高吞吐文本生成场景有直接价值。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

阅读原文 +0
AI 处理过程展开/收起
原始标题:Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
AI 中文标题:Next-Concept Modeling:快速并行由粗到细文本生成
来源:arXiv NLP · 发布于 19 天前
分类:大模型 · AI 重要度:★ 3(3)
标签:扩散语言模型 / 并行生成 / VQ-VAE / 文本生成 / 推理加速
关键词:扩散语言模型 / Next-Concept Modeling / 并行文本生成 / VQ-VAE / 推理加速
AI 处理:2026/10/14 15:02:56 · 模型 deepseek-chat · 规则版本 2026-10-10.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
Next-Concept Modeling:快速并行由粗到细文本生成 - 智讯 AI News