★ 3
arXiv 论文提出 GRAFT 修复连续扩散语言模型词表长尾坍缩
研究揭示连续扩散语言模型（如 ELF）因缺少逐步离散采样，导致罕见词出现率仅为人类的 0.30 倍，且扩大参数无法弥补。作者提出免训练方法 GRAFT，在模型未定稿时先锁定稀有词再整体重生成。在三种 ELF 规模与 LangFlow 上，稀有词占比从人类 0.42-0.77 倍恢复至 0.82-1…
arXiv NLP11 天前
#长尾分布
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
论文提出广义生物医学发现 GBD 基准
论文提出广义生物医学发现（GBD）任务及统一基准，覆盖长尾罕见病、异常检测与层级分类三种开放世界场景。作者提出受专家诊断启发的 SCAN 方法，通过预测抑制、惊讶显著性触发与互补适应来发现新概念，同时保留既有临床知识。该方法可插入现有架构，改善医学影像中已知与未知的权衡。
arXiv cs.LG31 天前
★ 2
论文重思长尾数据下监督对比学习的表示几何
论文建立理论框架，分析长尾分布下监督对比学习目标能否在最优处形成正单纯形几何，发现代表性目标因依赖每类样本数而失败。作者提出结构平衡与完全平衡对比目标，可证明在最优处形成正单纯形，并在长尾识别与迁移学习上提升性能。
arXiv cs.LG7 天前
★ 2
arXiv 论文：用长尾表现评测 LLM 创造力
论文提出 LLM 创造力的共同目标可形式化为参考输入输出分布长尾上的任务表现，并以预训练数据 n-gram 缺失作为新颖性代理。在 15 个基准与 26 个开放权重模型上验证，并提出低成本诊断指标 q@Tail(α)，显示 LLM 创造力仍有较大提升空间。
arXiv NLP21 天前
这个主题的相关资产
相关公司Cognition1