技术
Prefill-Decode（预填充-解码）
Prefill-Decode是大语言模型推理的两个阶段：预填充处理输入，解码自回归生成输出。
详细解释
Prefill阶段并行计算输入序列的键值缓存，计算密集；Decode阶段逐个生成token，访存密集。两者计算特性不同，导致资源利用率不均衡。现代推理系统常将两阶段分离部署或优化调度，如使用连续批处理、PagedAttention等技术，以提高吞吐和降低延迟。
别名与相关写法
prefill-decode
Prefill-Decode是大语言模型推理的两个阶段：预填充处理输入，解码自回归生成输出。
Prefill阶段并行计算输入序列的键值缓存，计算密集；Decode阶段逐个生成token，访存密集。两者计算特性不同，导致资源利用率不均衡。现代推理系统常将两阶段分离部署或优化调度，如使用连续批处理、PagedAttention等技术，以提高吞吐和降低延迟。