★ 4
扩散模型进军 Agent，350 亿参数速度超 Jev 一倍
研究团队将扩散模型用于 Agent 任务，推出 350 亿参数模型，速度比 Jev 快一倍。该工作挑战主流自回归路线在智能体场景的主导地位，为 Agent 推理效率提供新思路。
量子位4 天前
#扩散模型
共 118 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
扩散模型迈向 35B 参数，开始挑战 Agent 编程
文章探讨扩散模型不再逐个生成 Token 的新范式，参数规模已推进至 35B，并开始切入 Agent 编程场景，对传统自回归生成路线构成挑战。
InfoQ AI4 天前
★ 3
StruPO：用场景图结构反馈训练文生图提示词编辑器
论文提出 StruPO，用校准后的场景图作为策略条件与图像监督的共享表示，把结构反馈转为可复用编辑策略的训练信号。方法通过平滑奖励塑形保留 grounding 置信度，并对每次编辑的多张图像取平均计算组相对优势。在三个 2K 提示词测试集与四个冻结生成骨干上，关系保真度与美学权衡均获提升，并有 1…
arXiv cs.AI4 天前
★ 3
HMDLM：引入层级优先级的掩码扩散语言模型，困惑度显著下降
论文提出层级掩码扩散语言模型 HMDLM，为每个 token 位置附加层级标签，分两阶段预测层级分布与 token 分布，并让各层级拥有独立噪声调度。在 LM1B 上困惑度较 ADLM 降低逾 1.5 点，WikiHow 上最多降 7 点，数独求解准确率最高提升 8.6 个百分点。
arXiv NLP10 天前
★ 3
MODS 框架用推理时扩散引导实现多目标蛋白质优化
论文提出 MODS 模块化框架，通过推理时扩散引导进行多目标蛋白质优化，每次提议采样增强切比雪夫标量化权重与适应度代理集成成员来定义引导奖励。在 6 个蛋白质优化任务上，配合两种扩散模型与两种引导程序均取得有竞争力的最终超体积，部分任务显著优于基线。
arXiv cs.LG10 天前
★ 3
研究：高斯先验何时失效？RL 微调的潜空间几何分析
论文指出潜扩散模型默认的高斯先验在强化学习微调下存在结构性缺陷：VAE 的 KL 项会压缩多峰数据并加剧模式重叠，导致策略崩溃。在丙氨酸二肽玻尔兹曼分布上，高斯先验 VAE 崩溃阈值 0.224，而模式追踪的高斯混合先验仅 0.00316，相差 71 倍，作者将差距归因于潜空间几何中介并给出条件性…
arXiv cs.LG10 天前
★ 3
arXiv 提出 DScout，优化扩散草稿模型投机解码吞吐
论文提出 DScout，用训练端与推理端两种分解指导扩散草稿模型的投机解码。训练端把逐位置损失分解为包含、加权与预测损失以对齐前缀接受；推理端把吞吐分解为平均接受 token 数与单轮延迟之比来选择配置。在 Qwen3-4B 与 Qwen3-8B 上分别取得 3.84 倍与 4.14 倍平均加速，…
arXiv cs.LG12 天前
★ 3
清华提出 DiffusionRVGE：用回归值梯度估计加速扩散模型强化学习
清华大学团队提出 DiffusionRVGE，通过将中心化奖励回归到中心化去噪图像来构造更新方向，无需奖励导数或沿采样轨迹的反向传播。在 SD3.5-Medium 上联合训练五种奖励，八项指标中七项追平或超过 DiffusionNFT，训练算力约为其五分之一。单奖励训练下达到同等奖励阈值快 2.1…
arXiv cs.AI12 天前
★ 3
Mercury 3 发布：规模化扩散模型
Mercury 3 发布，主打规模化扩散（diffusion）路线，在 Hacker News 获得 120 分热度与 49 条评论。该发布引发对扩散模型在语言生成领域应用的讨论。
Hacker News13 天前
★ 3
NPO：少步生成模型的噪声空间奖励对齐
论文提出噪声策略优化（NPO），针对少步生成模型的对齐问题，在生成器初始噪声空间上学习摊销流策略，将高斯噪声传输至奖励倾斜的噪声分布。在图像、语言和蛋白质结构生成上，NPO以低16至549倍的推理成本匹配测试时搜索方法，取得更优的奖励-质量权衡。
arXiv cs.LG16 天前
★ 3
TSG：用时序逻辑规范引导文本生成视频
arXiv 论文提出 Temporal Specification Guidance（TSG），一种免训练的推理期框架，用时序逻辑规范约束文生视频中的顺序、时序与持续性要求。TSG 通过可微定量语义对视觉概念证据打分，并利用梯度构造规范引导的去噪方向，增强无分类器引导（CFG）。在覆盖 11 类时…
arXiv cs.AI16 天前
★ 3
CoBit：连续比特流扩散统一多模态联合生成
论文将原用于语言建模的连续比特流扩散（CoBit）扩展为统一多模态生成框架，用同一训练与采样协议处理图像-文本、语音-文本与蛋白质序列-结构建模。单个检查点即可支持联合生成与条件生成，语音-文本联合生成词错率 3.5%，蛋白质重折叠自洽 TM-score 达 0.911。
arXiv NLP18 天前
★ 3
arXiv 论文：为扩散模型引入校正训练步骤
针对扩散模型迭代采样中的误差累积与曝光偏差，论文提出一个校正器（corrector），以基础模型预测为输入、对同一真值目标训练，在每步去噪中迭代精修干净样本预测。方法在 DiT、SiT、JiT 上显著改善无引导与无条件生成的 FID，性能可与 CFG 竞争，并可通过蒸馏回基础模型摊薄推理开销。
arXiv cs.AI18 天前
★ 3
首个三模态掩码扩散模型MDM发布，从零预训练文本图像音频
研究者提出首个从零预训练的三模态掩码扩散模型（MDM），覆盖文本、图文与音频文本数据。论文系统分析了多模态缩放定律、模态混合比例、噪声调度与批大小效应，并给出优化的推理采样默认参数。批大小分析还导出了基于随机微分方程（SDE）的新方法。
Apple Machine Learning Research19 天前
★ 3
DiffusionART：扩散模型高效稳定强化学习框架
论文提出 DiffusionART，通过将每个提示的奖励聚合为共享的奖励改进方向，消除 NFT 类目标中的前向-反向一致性力，并加入信任域掩码二次更新实现漂移自适应恢复。方法无需可微奖励模型与 EMA 调参，在图像与视频生成上高效稳定。在 HunyuanVideo-13B 上，达到 Diffusi…
arXiv cs.LG20 天前
★ 3
CacheScope：免训练扩散加速的精确计算分配
论文提出 CacheScope，通过归一化探针输出变化与输入位移之比，在线识别高风险缓存复用步骤并选择性回退到完整去噪计算。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上实现最高 3.57 倍加速，中位 LPIPS 最多降低 70.1%。
arXiv cs.LG20 天前
★ 3
Seq-Drifting：单步前向生成整段文本
论文提出Seq-Drifting框架，将漂移方法应用于连续token表征序列，直接学习从高斯噪声到文本的映射，推理时一次前向生成全部token。在LM1B上单步生成困惑度36.01，并在翻译、摘要和推理任务上展现适用性。
arXiv cs.AI20 天前
★ 3
多带宽分布匹配蒸馏：DMD 与漂移模型等价性证明
论文证明将预训练扩散/流式生成模型的速度场/噪声场转换为漂移模型中的吸引力场，并从生成分布估计排斥力场后，训练漂移模型自然等价于分布匹配蒸馏（DMD/DMD2）。基于该等价视角提出改进方法多带宽分布匹配蒸馏（MBDMD），用于一步生成模型。
arXiv cs.LG23 天前
★ 3
研究：参数高效微调方法差异究竟在哪
论文比较六种 PEFT 方法在语言与扩散模型中的表现，考察其参数化与任务性能、遗忘及预训练权重几何变化的关系。结果显示 LoRA 族方法也近似保持预训练几何，恢复其轻微漂移的奇异值谱基本不影响性能，质疑显式几何保持的必要性。LoRA 最稳定地限制遗忘，DoRA 平均任务分更高，PiSSA 保留成本…
arXiv cs.LG24 天前
★ 3
ConDA 从预训练扩散表示学习可辨识世界模型
论文探讨冻结的预训练扩散模型能否在不重训生成主干的情况下获得可识别的潜在坐标。作者提出对比扩散对齐（ConDA），仅在冻结扩散潜变量上学习轻量对齐映射，并证明在标准假设下可识别潜在动力学状态、保留结构因果模型。实验在物理与机器人视频系统上实现近乎完美的状态恢复，并能分析干预相关动态。
arXiv cs.LG25 天前
★ 3
★ 3
PAC 隐私扩散模型适配保护敏感图像合成
论文指出合成数据不保证隐私，扩散模型仍易受重建攻击，而 DP-SGD 因重复裁剪加噪导致效用损失。作者提出 PAC 隐私的扩散模型适配方法，先用 LoRA 或 Textual Inversion 学习紧凑组件，再基于输出协方差校准各向异性高斯噪声，仅扰动一次。实验表明在同等重建隐私下，该方法在身份…
arXiv cs.LG26 天前
★ 3
几何感知时间重参数化改进流映射蒸馏
论文研究改变教师模型时间参数化是否能让流映射蒸馏的有限时间转移更易学习，提出几何感知时间重参数化，将更多学生时间分配给法向加速度大的轨迹段。在合成数据、CIFAR-10 与 CelebA-64 上，匹配推理预算下样本质量优于恒等时间蒸馏。
arXiv cs.LG27 天前
★ 3
论文：生成模型记忆审计缺零分布致误判
论文指出当前生成模型记忆审计普遍直接比对相似度阈值而缺乏零分布，导致结论可能出错。作者提出两种零假设：整体模型层面用置换检验，单图层面用匹配对照校准。在MemBench上以5%错误发现率认证61张图中的36张，并推荐交集欧拉特征谱的小尺度质量作为统计量。
arXiv cs.LG30 天前
★ 3
研究揭示离散扩散模型逐步生成置信度的理论局限
论文研究离散扩散模型（含remasking与uniform-state采样器）的生成机制，指出只有当写入位置在已固定token条件下相互独立时，单步才匹配训练分布。研究表明逐位置分布的乘积无法匹配存在依赖关系的token组。
Apple Machine Learning Research31 天前
★ 3
研究：基于恰当评分规则的扩散模型概率天气预报
近期概率天气预报用 CRPS 训练随机预测器，单次前向生成每个集合成员，但仅依赖预报上下文，在长预报时效高不确定性下学习预测分布困难。论文引入辅助条件去噪任务，从上下文及其损坏版本预测同一未来状态，提供部分未来信息以降低歧义。该方法在多个架构上改善单步预报，长时效增益更大，并扩展到高维全球天气预报…
arXiv cs.LG31 天前
★ 3
Spectral Feedback：蛋白质扩散模型测试时对齐新算法
论文提出 Spectral Feedback 算法，通过反馈循环选择编辑位置，让离散扩散模型迭代修正自身生成结果，将「重访哪些 token」视为对齐的核心问题。作者发现蛋白质逆折叠的编辑集价值函数具有稀疏傅里叶表示，从而可高效学习与优化。该方法模型无关，在蛋白质稳定性奖励下使预训练模型稳定蛋白提升…
arXiv cs.AI34 天前
★ 3
基于内核的 Trainium 实时视频生成路径
Reactor 与 AWS 合作，利用 Neuron Kernel Interface 解决实时自回归扩散模型在动态形状、内存访问模式和缓存管理上的难题。所构建的技术可跨模型泛化，为在 Trainium 芯片上实现实时视频生成提供了内核级方案。
Amazon Science Blog37 天前
★ 3
FB-GDM：全贝叶斯引导扩散模型求解线性逆问题
论文提出FB-GDM全贝叶斯引导扩散方法，从ΠGDM的高斯近似出发推导闭式条件分数，将两个精度参数作为隐变量在每步反向过程中用变分推断估计，无需噪声水平或真值标定。在CelebA-HQ逆问题上比名义设置的ΠGDM最高优14dB，接近真值标定的oracle，并在算子、噪声或图像分布变化时保持稳健、不…
arXiv cs.LG37 天前
★ 3
CARE：扩散模型条件感知表示正则化
研究提出 CARE，一种轻量即插即用的正则化框架，根据条件相似度动态调制特征分布，无需显式对齐损失或外部监督。在 ImageNet 上 40 万步训练使 FID 降低 19.08%，实现 3.5 倍加速；文生图任务中 FID 降低 16.61% 并改善语义对齐。CARE 可与现有正则化方法叠加使用。
arXiv cs.LG37 天前