Token（词元）

Token是自然语言处理中的离散符号，通过分词器将文本转换为数字序列。背景源于信息论和语言学，技术说明包括BPE、WordPiece等子词分割算法，平衡词汇表大小和序列长度。在Transformer中，Token嵌入后加入位置编码，成为模型输入。