技术
Token Efficiency（Token 效率）
Token Efficiency 指在语言模型中用更少的 token 完成相同任务，降低成本并提升速度。
详细解释
Token Efficiency 关注模型处理文本时 token 的利用效率。背景是 Transformer 模型的计算开销随 token 数增长。技术包括提示压缩、稀疏注意力和分词优化，旨在减少冗余 token，提升推理效率和上下文窗口利用率。
别名与相关写法
token efficiency
Token Efficiency 指在语言模型中用更少的 token 完成相同任务，降低成本并提升速度。
Token Efficiency 关注模型处理文本时 token 的利用效率。背景是 Transformer 模型的计算开销随 token 数增长。技术包括提示压缩、稀疏注意力和分词优化，旨在减少冗余 token，提升推理效率和上下文窗口利用率。