技术
Tokenizer
将文本切分为模型可处理的最小单元（token）的工具，是自然语言处理的第一步。
详细解释
Tokenizer 负责将原始文本分割成 token（如词、子词或字符），并映射为数字 ID 供模型使用。常见方法有 BPE、WordPiece 等。其设计影响模型词汇量、序列长度和跨语言能力，是连接文本与神经网络的关键组件。
别名与相关写法
tokenizer
相关术语
Token共现 5 篇
Continued Pretraining共现 1 篇
Small Language Model共现 1 篇
Federated Learning共现 1 篇
Distillation共现 1 篇
Llama-3.1-8B共现 1 篇
相关公司
相关资讯
研究：同形字与隐形字符水印跨语言公平性仍存差距2026/10/28
arXiv 论文修复 Llama-3/Qwen3 分词器尼泊尔语切分缺陷2026/10/27
CSD：跨分词器知识蒸馏统一框架，Llama-3.1-8B 精度提升 4.2 分2026/10/22
FederatedBytes 推出去分词器字节级小模型，用于多模态联邦学习2026/10/19