★ 3
arXiv 论文提出 GRAFT 修复连续扩散语言模型词表长尾坍缩
研究揭示连续扩散语言模型（如 ELF）因缺少逐步离散采样，导致罕见词出现率仅为人类的 0.30 倍，且扩大参数无法弥补。作者提出免训练方法 GRAFT，在模型未定稿时先锁定稀有词再整体重生成。在三种 ELF 规模与 LangFlow 上，稀有词占比从人类 0.42-0.77 倍恢复至 0.82-1…
arXiv NLP10 天前
#文本生成
共 18 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Next-Concept Modeling：快速并行由粗到细文本生成
研究者提出 Next-Concept Modeling（NCM），一种两阶段由粗到细框架：多尺度残差 VQ-VAE 将文本编码为离散码层级，Transformer 逐层并行预测。在 LM1B 上生成困惑度优于最强扩散语言模型基线且快 21 倍，OpenWebText 上快 10 倍，XSum 上快…
arXiv NLP18 天前
★ 3
arXiv 论文：预测状态流 PSF 并行语言生成
论文重新划分连续扩散语言模型中扩散先验与解码器的生成角色，提出 Predictive-State Flows（PSF），让先验生成高层预测状态、解码器并行解析 token。197M 参数模型在 OpenWebText 上以更低算力取得更优生成困惑度与 MAUVE 分数。
arXiv NLP20 天前
★ 3
Seq-Drifting：单步前向生成整段文本
论文提出Seq-Drifting框架，将漂移方法应用于连续token表征序列，直接学习从高斯噪声到文本的映射，推理时一次前向生成全部token。在LM1B上单步生成困惑度36.01，并在翻译、摘要和推理任务上展现适用性。
arXiv cs.AI20 天前
★ 3
连续扩散语言模型训练对提示词加噪
arXiv 论文挑战连续扩散语言模型训练中固定干净提示词的标准做法，改为在训练时对条件提示词加噪。该方法在数独、N 皇后等组合推理任务上显著提升泛化能力，数独困难版求解率从 3.73% 升至 24.65%，并提升生成多样性，代码已开源。
arXiv cs.LG24 天前
★ 3
谷歌测试AI游戏创作平台Playground
谷歌实验室正在开发名为Playground的AI游戏创作平台，用户可通过简单文本提示构建浏览器游戏。此举延续谷歌在AI生成内容领域的布局，可能降低游戏开发门槛，但也面临内容质量与版权争议。
TechCrunch AI25 天前
★ 3
关系过正则化：基于图神经网络的AI文本检测新方法
该研究提出关系过正则化（ROR）概念，利用句子间转换方差偏差检测AI生成文本。提出的CSFG图框架编码位置、顺序、语义和转换偏差信号，在二元检测中达到97.14%的准确率，优于最强基线11.14个百分点，且对未见LLM具有鲁棒性。
arXiv cs.AI65 天前
★ 3
DiffusionGemma加速文本生成
DiffusionGemma模型实现文本生成速度提升4倍，采用扩散架构优化生成效率。该技术有望降低延迟，提升实时应用体验。
Google DeepMind144 天前
★ 2
研究提出 vocab2text 框架：用人工词表为极低资源语言生成文本
论文提出结合人工编纂词表与少量人工例句的框架，按 Zipf 分布采样候选词，让具备推理能力的 LLM 为极低资源甚至未见语言生成连贯文本。在多种资源水平语言上以词汇多样性、偏离率和人工流畅度评估，句级效果突出，段落级亦有潜力。代码已开源。
arXiv NLP4 天前
★ 2
评论：AI 持续变强，为何写作水平仍差
一篇评论文章追问为何 AI 能力不断提升，其文本写作质量却依然不佳，讨论模型在风格、逻辑与表达上的局限。属于观点类内容，非新发布。
Hacker News – AI10 天前
★ 2
VISTA：离散扩散模型奖励引导的稀疏调度方法
针对离散扩散模型奖励引导中逐步序贯蒙特卡洛（SMC）计算昂贵的问题，论文提出免训练方法 VISTA，在固定预算下自动选择引导时间步。VISTA 将稀疏引导建模为对理想全引导概率路径的近似，并用动态规划精确优化经验代理目标。在文本、生物序列和图像生成任务上，VISTA 多数场景优于手工稀疏调度，毒性…
arXiv cs.AI16 天前
★ 2
MEF LLM Studio 上线：逐 token 学习 LLM 文本生成
开发者发布 MEF LLM Studio，一个可视化教学工具，帮助用户逐 token 观察大语言模型如何生成文本。该工具面向学习与教学场景，降低理解 LLM 生成机制的门槛。
Hacker News – LLM20 天前
★ 2
arXiv 论文：从低通滤波语音预测文本的韵律到文本研究
论文探索韵律到文本的反向任务，仅用 12 个最低 Mel 频段（约 450Hz 低通滤波）微调 Whisper 模型，取得 WER 36% 的意外准确结果，10% 语句完全恢复。研究还发现给定正确前缀时下一 token 预测正确率达 79%，表明低频语音特征与词汇内容的关联比此前认为的更强。
arXiv NLP23 天前
★ 2
面向超人类文本的强化学习：去除AI味
Meta研究团队发布RAM博客，探讨如何通过强化学习让AI生成的文本摆脱机械、套路化的“AI味”，向更自然、超人类的写作水平迈进。该方向对提升大模型文本生成质量具有研究意义。
Hacker News – AI34 天前
★ 2
AI应用需要比文本生成更好的原语
文章认为当前AI应用过度依赖文本生成这一原语，难以支撑可靠、可组合的复杂应用。作者主张引入更结构化、更可验证的底层原语，以提升AI系统的可控性与工程化水平。
Hacker News – AI37 天前
★ 2
Hemingway-1：像人一样写作的AI模型
Hugging Face上出现名为Hemingway-1的模型，主打模仿人类自然写作风格。该模型试图解决AI生成文本机械感强的问题，面向内容创作场景。
Hacker News – AI41 天前
★ 2
HintMiner：从问答帖子自监督挖掘问题提示
针对Stack Overflow等问答论坛响应不及时的问题，论文提出HintMiner工具，利用机器理解与序列生成技术自动为用户问题生成提示。系统先检索大量网络问答帖，再用基于Transformer与复制机制的语言模型MiningNet抽取提示，并通过自监督目标训练。在6万个Stack Overf…
arXiv cs.LG46 天前
★ 2
轨迹即教师：能量导航蒸馏的少步离散流匹配
离散流匹配生成文本需数百次前向传播，蒸馏可将其压缩为少步。研究提出轨迹本身才是瓶颈而非学生容量，通过能量导航蒸馏改进训练轨迹质量，实现少步生成。
Apple Machine Learning Research47 天前