Tokka-Bench 分词器评测框架

研究者推出开源框架 Tokka-Bench，用字节每 token、唯一 token 覆盖率、子词生育率、词切分率与词表构成五项指标，在 100 种自然语言与 20 种编程语言上评测分词器。对比 GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3 与 Kimi K2 后发现，词表分配策略比词表规模更重要，编程语言效率在近期分词器间已趋同。