Tokenization

分词将连续文本拆分为词、子词或字符级词元，再映射为整数ID输入模型。常见方法包括BPE、WordPiece和SentencePiece，子词分词能在词表大小与未登录词处理之间取得平衡。分词质量直接影响模型对多语言、专业术语和罕见词的处理能力，不同模型的分词器差异也会导致词元计数和上下文长度估算不同。