推理加速

推理加速旨在让训练好的模型在实际部署中更快响应。常用技术包括模型量化、剪枝、知识蒸馏、算子融合和专用硬件（如GPU、TPU）优化。背景是大模型推理计算量大，难以满足实时应用。加速技术需平衡精度与速度，例如量化将浮点权重转为低比特整数，显著减少内存和计算开销。