★ 3
arXiv 提出 PRISM 训练框架提升 LLM 采样多样性
针对大模型模式坍缩问题，研究提出训练期框架 PRISM，结合子模挑选为每个提示配对多样且正确的多教师解答，并通过随机嵌入调制将特殊 token 扰动转化为采样多样输出的隐式信号。在 WritingPrompts 与 BookMIA 上，PRISM 在保持最强或接近最强语义多样性的同时取得最佳生成质…
arXiv cs.LG7 天前
#模式坍缩
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究称大模型写诗存在「创意模式坍缩」
研究对 15 种诗歌形式、248 个主题标签、16 个开源模型生成超 110 万首诗，构建迄今最大 LLM 诗歌语料库。发现大模型虽具备丰富诗歌词汇与押韵能力，却严重依赖少量词汇、开头短语和韵脚，呈现「懒惰诗人」式的词汇同质化，且押韵词汇量与模型规模相关。
arXiv NLP13 天前
★ 2
论文诊断 LLM 生成故事多样性低：又是灯塔里的 Elias
一篇 arXiv 论文研究大语言模型生成故事的多样性不足问题，以「灯塔里的 Elias」等重复套路为例进行诊断。研究揭示模型在叙事生成上存在模式坍缩，对创意写作类应用具有参考价值。
Hacker News – LLM13 天前