推理优化

大模型推理分为预填充和解码两阶段，常受显存带宽与计算量限制。推理优化涵盖量化、剪枝、知识蒸馏等模型压缩技术，KV缓存管理、批处理、投机解码等解码加速方法，以及算子融合、并行计算等系统级优化。其目标是在尽量保持精度的前提下降低延迟与成本，使大模型能在实际业务中高效稳定地服务海量用户请求。