★ 3
arXiv 论文提出 GRAFT 修复连续扩散语言模型词表长尾坍缩
研究揭示连续扩散语言模型（如 ELF）因缺少逐步离散采样，导致罕见词出现率仅为人类的 0.30 倍，且扩大参数无法弥补。作者提出免训练方法 GRAFT，在模型未定稿时先锁定稀有词再整体重生成。在三种 ELF 规模与 LangFlow 上，稀有词占比从人类 0.42-0.77 倍恢复至 0.82-1…
arXiv NLP10 天前
#扩散语言模型
共 34 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
DiffResearch 开源扩散语言模型深度研究框架，端到端提速 6 倍
论文提出 DiffResearch，一个开源多智能体深度研究框架，把扩散语言模型（dLLM）置于规划、检索、写作各阶段核心。在 100 项 Deep Research Bench 任务上，扩散骨干比同规模自回归模型端到端快约 6 倍，规划与写作环节提速达数量级。作者还提出 dFast 分解模式，利…
arXiv cs.AI10 天前
★ 3
研究：扩散模型采样器引入性别与观点偏见
论文指出扩散语言模型的提交规则本身会引入偏见：LLaDA 默认等采样器优先提交高概率位置，从而放大职业性别刻板印象并压缩观点分布。作者提出 Fork-First Sampling，在写入任何内容前先决定分叉，可遵循模型信念或任意目标分布并提升流畅度。研究呼吁扩散模型公平性评测应报告提交规则。
arXiv NLP12 天前
★ 3
PV-Decoding：扩散模型渐进验证推测解码提速
论文提出 PV-Decoding，一种面向块扩散推理的置信度驱动推测解码框架，用两个置信阈值把掩码位置分为直接解码、推测与未解决三类，并采用渐进式验证策略。在三个扩散语言模型与 GSM8K、MBPP、HumanEval 上，顺序前向次数减少 8%–37%，最大精度下降仅 1.3%。
arXiv NLP12 天前
★ 3
DiffuPlan：扩散语言模型智能体可编辑规划状态
论文提出 DiffuPlan，让扩散语言模型智能体维护单一可编辑规划状态，新证据到来时只重建受影响步骤，而非像自回归智能体那样追加文本。配套提出 Expansion-Partition Marginalization 支持变长修订。在四个多跳问答基准上平均 F1 达 50.24，可编辑状态带来 2…
arXiv NLP12 天前
★ 3
SPOT：预测提交顺序加速扩散语言模型推测解码
论文指出扩散语言模型推测解码的关键缺口是「下一个填哪个位置」，而非 token 本身。作者提出 SPOT，用仅 0.62M 参数的模型读取目标输出分布并预测提交顺序，配合耦合噪声匹配验证支持任意温度下的树式推测。实验将目标前向次数最多减少 6.8 倍、吞吐提升至 3.2 倍，且草稿器可跨六个扩散语…
arXiv cs.LG13 天前
★ 3
ORL：扩散语言模型的在线策略残差学习框架
论文提出 ORL 框架，指出残差学习本质是在线策略的，通过模型自生成残差轨迹与熵收缩目标提升预测锐度，并协同设计异步残差捕获、块扩散注意力与计算均衡训练。在由 Qwen3-4B 转换的 4B 扩散语言模型上，每前向 token 数最高提升 6.2 倍，端到端吞吐提升约 6.9 倍。在 LLaDA-…
arXiv cs.LG16 天前
★ 3
One Block Ahead：提升扩散语言模型采样器状态
论文提出 One Block Ahead（OBA），一种免训练解码算法，在去噪当前块的同时并行去噪下一块。研究表明，对于均匀状态扩散语言模型，若下一块的 token 与采样器状态一同提升，并发解码可带来收益。在 DiffusionGemma 上，OBA 将每次前向的 token 数提升 42.3%…
arXiv NLP17 天前
★ 3
扩散语言模型的结果路由蒸馏与强化学习
论文提出一种无似然流水线，结合结果路由蒸馏与强化学习训练专家混合扩散语言模型（dLLM）。通过验证器结果对 rollout 分组路由，混合组使用无比率 REINFORCE，全失败组使用 KL 监督。在工具调用任务上，蒸馏超过教师 6.77 个百分点，路由进一步提升 18.31 点。
arXiv cs.LG17 天前
★ 3
Next-Concept Modeling：快速并行由粗到细文本生成
研究者提出 Next-Concept Modeling（NCM），一种两阶段由粗到细框架：多尺度残差 VQ-VAE 将文本编码为离散码层级，Transformer 逐层并行预测。在 LM1B 上生成困惑度优于最强扩散语言模型基线且快 21 倍，OpenWebText 上快 10 倍，XSum 上快…
arXiv NLP18 天前
★ 3
arXiv 论文：预测状态流 PSF 并行语言生成
论文重新划分连续扩散语言模型中扩散先验与解码器的生成角色，提出 Predictive-State Flows（PSF），让先验生成高层预测状态、解码器并行解析 token。197M 参数模型在 OpenWebText 上以更低算力取得更优生成困惑度与 MAUVE 分数。
arXiv NLP20 天前
★ 3
扩散智能DiffuSpace获经纬顺为君联数亿元融资
扩散语言模型公司扩散智能 DiffuSpace 获得经纬、顺为、君联数亿元投资，成为全球扩散语言模型领域最大融资。资金将用于推进扩散语言模型研发与商业化。
InfoQ AI23 天前
★ 3
Plan-and-Patch：扩散语言模型用于智能体规划与修复
论文提出 Plan-and-Patch 框架，用扩散语言模型生成结构化程序式计划，并通过填补局部区域修复计划而保持前后步骤不变。对比 DreamReasoner-8B 与 Qwen3-8B，扩散模型在计划修复成功率上达 53.7%，约为自回归模型 27.0% 的两倍，且计划生成延迟降低 39-46…
arXiv cs.AI23 天前
★ 3
连续扩散语言模型训练对提示词加噪
arXiv 论文挑战连续扩散语言模型训练中固定干净提示词的标准做法，改为在训练时对条件提示词加噪。该方法在数独、N 皇后等组合推理任务上显著提升泛化能力，数独困难版求解率从 3.73% 升至 24.65%，并提升生成多样性，代码已开源。
arXiv cs.LG24 天前
★ 3
SoloQ：扩散语言模型免校准量化
论文提出 SoloQ，一种免校准量化框架，将权重与激活映射到归一化旋转基，使其边缘分布可预测，从而实现数据无关量化。SoloQ 结合结构化 K-RPBH 旋转与轻量重缩放校正，支持分布匹配码本与硬件原生 NVFP4，并对块扩散模型采用提交时 KV 缓存量化。在 LLaDA、Dream 等模型上，S…
arXiv cs.LG25 天前
★ 3
块扩散语言模型的掩码引导 KV 缓存淘汰
论文针对块扩散语言模型生成过程中 KV 缓存庞大、拖慢速度的问题，提出免训练的 MaskAhead 方法。它用单一掩码查询排序机制同时解决当前块的 KV 选择与未来块的淘汰，量化版本 Q-MaskAhead 直接从低位 KV 计算。在长提示问答任务上，MaskAhead 平均减少 9.5 倍 KV…
arXiv cs.LG25 天前
★ 3
ALoDLM：自适应循环扩散语言模型
研究者提出 ALoDLM，用 token 自适应潜在循环替代扩散语言模型（DLM）中均匀的计算深度分配，让难预测的 token 获得更多迭代精修。该方法将 token 级计算调度建模为隐变量并推导条件 NELBO 进行联合训练，在 1.7B 与 8B 两个规模上训练。在 11 项基准上，ALoDL…
arXiv cs.AI26 天前
★ 3
研究：扩散语言模型智能体的反向评分防重试循环
论文剖析扩散大语言模型（dLLM）智能体陷入重试循环的机制：掩码解码的适应性使失败动作本身成为高置信填充，导致重试被提交而失败反馈未被正视。作者将动作分布扭曲建模为任务无关的污染，并证明该因子在反向条件中恰好抵消，据此提出免训练的 Reflect Reverse 规则。在四个多轮具身基准上，该方法…
arXiv cs.LG31 天前
★ 3
扩散语言模型越狱为何成功：能量景观分析
论文将安全对齐解释为塑造去噪能量景观，把越狱攻击归结为在初始化阶段隐藏安全倾向或在中途强行跨越能量壁垒两类策略。基于此推导出三个免训练检测信号，在 LLaDA-8B、LLaDA-1.5、Dream-7B 与 LLaDA-MoE-7B 上验证互补性，发现能逃过检测的配置也无法生成有害内容。
arXiv cs.AI34 天前
★ 3
CaLR：扩散推理的因果隐变量修正
论文提出因果隐变量修正（CaLR）框架，将推理重构为受约束的隐空间优化，借助专家模型的因果拓扑矩阵与隐式微分进行梯度引导的「思维修正」。该方法在复杂基准上取得扩散语言模型 SOTA，并在数独等约束任务上展现更强鲁棒性。
arXiv cs.AI41 天前
★ 3
新方法probe guidance刷新扩散语言模型引导性能
论文提出 probe guidance，利用现有扩散模型冻结的内部状态构建引导信号，原理类似 autoguidance 但无需推理时额外前向传播。在连续扩散语言模型上，该方法在无条件生成上刷新最优性能，并持续提升 1.7B 扩散语言模型的多选题基准表现。研究还揭示传统 autoguidance 中…
arXiv cs.LG44 天前
★ 3
块并行BP：提升长上下文扩散语言模型分布式训练效率
论文针对块扩散语言模型（BDLM）长上下文训练受限于分布式注意力通信与激活显存的问题，提出块并行（BP）及上下文分片块并行（CSBP）新并行维度。在 16 张 H200、256K 上下文下，CSBP 相比最佳基线吞吐提升 1.18-1.45 倍，512K 时全模型加速达 1.61 倍；8 张 H1…
arXiv cs.LG44 天前
★ 3
固定大小缓存如何支撑块扩散模型规模化推理
研究探索块扩散语言模型的缓存机制，提出用序列混合器将已完成块汇总为可复用状态，配合块因果训练目标使缓存精确。在 300B token 上预训练三个 3B 块扩散去噪器（注意力、Mamba、混合），仅状态空间缓存为 O(1)。在 256k token 下，Mamba 缓存延迟降低 4.3 倍、内存减…
arXiv cs.LG48 天前
★ 2
TraceQuery：扩散语言模型轨迹引导稀疏解码提速
论文提出 TraceQuery，一种面向扩散大语言模型（dLLM）的轻量稀疏解码框架。它用完整去噪轨迹监督，预测少量与未来轨迹相关的位置，只对这些候选做新计算，再由主干模型选择提交。相比现有缓存方法，它在显著减少重复计算的同时保持高准确率，并可跨任务与模型族泛化。
arXiv NLP5 天前
★ 2
新方法为扩散语言模型加水印：学习前瞻与均衡词带
针对扩散语言模型先选词后定上下文的特性，研究提出学习式绿名单词带与前瞻预测器，并按检测器口径统计绿词以抑制重复刷分。在 WaterBench 上用 LLaDA-8B-Instruct 测试，强水印下 1% 误报率可检出至少 96% 的回复，且文本质量与未加水印相当。
arXiv cs.AI6 天前
★ 2
DELA 为扩散语言模型提供可控草稿编辑框架
论文提出 Diffusion Editing Language Adapter（DELA），在冻结扩散语言模型的前提下，通过插入、删除、重掩码、停止四种显式编辑动作实现可控草稿精修。采用两阶段解码兼顾 KV 缓存复用，在数学推理与代码生成任务上较直接扩散解码最高提升 5.5 个百分点。
arXiv cs.AI6 天前
★ 2
扩散语言模型智能体间隐藏通信研究：潜空间传递具因果效应
arXiv 论文提出「Hidden Messages」方法，让发送方扩散语言模型将去噪状态压缩为四个带符号稠密向量，直接传给接收方智能体，而非等解码成文本后再通信。消融实验显示，移除消息会使 Tiny-A2D 与 Dream-7B 上的优势分别消失 63.6 与 100.0 个百分点；在 QASC…
arXiv cs.AI10 天前
★ 2
FINDERS 用扩散语言模型路由状态重构用户表征，已过十场景 A/B 测试
论文指出基于自回归 LLM 的用户编码器受单向约束，难以兼顾多源信号与不同下游场景需求。作者提出 FINDERS，利用扩散语言模型的迭代去噪过程构建多粒度重构空间，通过去噪、因子化、路由、压缩四步生成场景自适应表征。在十个工业场景的离线实验与在线 A/B 测试中均优于现有方法。
arXiv cs.AI12 天前
★ 2
ForkGRPO：扩散语言模型的高效探索与细粒度信用分配
论文提出 ForkGRPO，一种面向扩散大语言模型（dLLM）的强化学习框架，通过从高熵中间状态采样多条续写路径，并结合段级信用分配来提升推理能力。该方法在四个基准中的三个取得最优表现，相比 JustGRPO 提升最多 1.2 个百分点，生成 token 减少最多 27.8%。ForkGRPO-F…
arXiv NLP17 天前
★ 2
CoDR：面向扩散语言模型的免训练置信漂移重掩码
研究者提出 CoDR（Confidence Drift Remasking），一种免训练、与采样器无关的细化方法，用于掩码扩散语言模型。CoDR 通过 k 分区探测估计已提交 token 的置信漂移，仅对模型不再认可的 token 重新掩码并生成。在两个骨干、四个推理与编码任务、三个采样器上均提升…
arXiv NLP24 天前