★ 3
研究：非英语语言使用 AI 模型成本更高，存在分词器税
Rest of World 报道指出，由于分词器对非英语语言切分效率更低，同样内容会消耗更多 token，导致非英语用户使用 AI 模型的实际成本更高。这一「分词器税」造成不同语言用户之间的成本不平等，也影响低资源语言的 AI 可及性。该话题在 Hacker News 引发讨论。
Hacker News – AI6 天前
#分词器
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Pearl-Chat：用 JAX 从零构建 850 万参数卢干达语模型并开源
论文发布 Pearl-Chat，一个约 847 万参数的因果解码器 Transformer，专为东非逾千万人使用的低资源班图语卢干达语设计，基于 JAX 与 Flax NNX 从第一性原理实现。自建字节级 BPE 分词器（词表 8192）实现每 token 4.88 字符、每词 1.60 toke…
arXiv NLP13 天前
★ 3
字节语言模型论文：扩展、涌现抽象与信息分配
一篇论文挑战语言模型必须依赖显式分词器的假设，证明标准扁平 Transformer 可直接处理原始字节序列，并在参数规模扩大时超越传统子词模型。研究通过 token-superposition 训练与哈希嵌入实现更低最优损失，并发现字节模型会自发形成局部抽象结构，为投机解码带来约 3.4 倍的接受…
Lobsters – Machine Learning22 天前
★ 3
Tokka-Bench 发布：跨 100 种自然语言与 20 种编程语言评测分词器
研究者推出开源框架 Tokka-Bench，用字节每 token、唯一 token 覆盖率、子词生育率、词切分率与词表构成五项指标，在 100 种自然语言与 20 种编程语言上评测分词器。对比 GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3 与 Kimi K…
arXiv NLP24 天前
★ 2
arXiv 提出 AdaptTok-Indic：面向印度语言的自适应分词
AdaptTok-Indic 是自适应分词的印度语言专用扩展，结合 Unicode 归一化预处理、印度语连字处理、文字感知路由与字节级边界预测。在孟加拉语和印地语上 token 生育率分别降至 1.432 与 1.388，低于 SentencePiece BPE 的 2.156 与 2.085，下…
arXiv NLP5 天前
★ 2
arXiv 论文修复 Llama-3/Qwen3 分词器尼泊尔语切分缺陷
研究发现 Llama-3、Qwen3 等开源模型预分词正则仅接受 Unicode 字母，导致天城文元音符号处被切断，尼泊尔语 token 消耗为英文的 2.6 至 5.8 倍。作者对正则做小幅修改并新增 3.2 万次合并，使尼泊尔语 token 降至英文的 1.01 倍，并开源分词器与代码。
arXiv NLP5 天前
★ 2
Thunder-DeID+：面向韩国判决书与敏感文档的边界感知去标识化
研究将面向韩国法院判决书的去标识化模型迁移到更广泛敏感文档，针对韩语黏着结构导致 BPE 分词器将个人信息与助词合并的问题，提出 Thunder-DeID+，融合三层 PII 分类体系与边界感知分词器。在完整判决书上，四种模型规模（150M 至 1B）的严格类型 F1 从 0.76-0.77 提升…
arXiv NLP13 天前
★ 2
研究：塔加洛语分词形态正确性影响有限
研究通过打乱语素对照实验，检验形态学正确性对分词的实际贡献。作者构建 MorphAustro-Tok 分词器，将词根作为连续单元并附加中缀标记，在 33 次运行中较 BPE 基线提升塔加洛语机器翻译 0.84 至 3.40 chrF++ 分。但打乱分析带来的差异小于种子间波动，说明该规模下形态正确…
arXiv NLP16 天前
★ 2
Simon Willison 发布 ttok 1.0，默认切换至 GPT-5/GPT-6 分词器
开发者 Simon Willison 发布 token 计数工具 ttok 1.0，将默认分词器从 GPT-4 切换为 GPT-5/GPT-6。有实验显示 GPT-5.5、5.6 与 GPT-6 系列分词结果一致，但 OpenAI 尚未正式确认。
Simon Willison Blog24 天前
★ 1
生成每个LLM token等宽的字体
一个趣味项目尝试生成让每个LLM token宽度一致的字体，用于可视化或对齐token。该实验帮助人们直观理解分词器如何切分文本。属于社区创意探索，热度较低。
Hacker News37 天前