Prefill

大模型推理分为预填充和解码两个阶段。预填充阶段对用户输入的整个提示进行前向计算，并行生成所有输入词元的键值缓存（KV Cache），为后续逐词生成做准备。该阶段计算密集、并行度高，主要受算力限制；而解码阶段逐词生成、受内存带宽限制。优化预填充效率对降低首词延迟至关重要。