★ 2
arXiv 提出 AdaptTok-Indic：面向印度语言的自适应分词
AdaptTok-Indic 是自适应分词的印度语言专用扩展，结合 Unicode 归一化预处理、印度语连字处理、文字感知路由与字节级边界预测。在孟加拉语和印地语上 token 生育率分别降至 1.432 与 1.388，低于 SentencePiece BPE 的 2.156 与 2.085，下…
arXiv NLP6 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
AdaptTok-Indic 是自适应分词的印度语言专用扩展，结合 Unicode 归一化预处理、印度语连字处理、文字感知路由与字节级边界预测。在孟加拉语和印地语上 token 生育率分别降至 1.432 与 1.388，低于 SentencePiece BPE 的 2.156 与 2.085，下…