★ 2
arXiv 论文：分词切分决定早退模型词内算力分配
一篇 arXiv 论文研究早退语言模型在单词内部如何分配计算预算，发现分词器把词切成几段会显著影响分配结果。在 Qwen3 上，英语、德语、土耳其语的后续片段获得的算力少于首片段，孟加拉语则相反；用 BPE-dropout 重新切分可使差距最多移动 8 个退出层。研究还发现词内 surprisal…
arXiv NLP10 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇 arXiv 论文研究早退语言模型在单词内部如何分配计算预算，发现分词器把词切成几段会显著影响分配结果。在 Qwen3 上，英语、德语、土耳其语的后续片段获得的算力少于首片段，孟加拉语则相反；用 BPE-dropout 重新切分可使差距最多移动 8 个退出层。研究还发现词内 surprisal…