★ 2
arXiv 论文驳斥分词器三大迷思：BPB 并非分词器无关
论文系统挑战分词研究中的三个迷思：BPB 并非对分词器与词表大小无关，未训练模型上 BPB 就偏好特定分词器；更低 BPB 不等于更好模型，与下游性能相关性弱；所谓分词器无关指标结果并不一致，unigram 归一化损失与 BPB 的相关性从 0.989 修正后降至 0.057。作者提出分词器三难困…
arXiv NLP14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文系统挑战分词研究中的三个迷思：BPB 并非对分词器与词表大小无关，未训练模型上 BPB 就偏好特定分词器；更低 BPB 不等于更好模型，与下游性能相关性弱；所谓分词器无关指标结果并不一致，unigram 归一化损失与 BPB 的相关性从 0.989 修正后降至 0.057。作者提出分词器三难困…