技术
Token Budget（Token 预算）
Token预算指在大型语言模型推理或训练中，为输入、输出或上下文分配的最大token数量限制，旨在平衡计算成本与任务性能，典型应用包括API调用中的max_tokens参数和长文档摘要中的上下文窗口管理。
详细解释
Token预算是LLM应用中的关键资源管理概念。由于Transformer的自注意力机制计算复杂度随序列长度平方增长，且API按token计费，合理分配预算至关重要。技术包括动态截断、滑动窗口、检索增强生成（RAG）和提示压缩等。在训练中，token预算影响模型规模和训练成本，如Chinchilla定律指导了计算最优的token分配。
别名与相关写法
token budget