Soft Token

传统分词把文本映射为离散 token ID，而软 token 是直接优化得到的连续嵌入向量，可拼接进输入序列参与计算。它常见于提示调优（prompt tuning）、多模态对齐（如图像 token）和长文本压缩等场景，能以极少参数承载任务指令或外部信息。由于不对应具体词，软 token 可解释性较弱，但表达更灵活、参数效率高。