推理工程帕累托图谱

LLM 推理优化常在不同模型、GPU、提示与质量指标上报告加速，难以比较或组合。论文构建成本、质量与延迟的帕累托图谱，实测 Qwen2.5-7B-Instruct 在 vLLM 0.12 及 L4/A100/H100 上的 54 种配置并校准模拟器。结果显示组合方法更常进入前沿；AWQ 4bit 在 L4 上延迟降至基线 0.34 倍但损失 5.9% 严格 GSM8K 精度；FP8 权重保留 99.4% 精度且延迟为 0.61-0.65 倍，成为多数场景赢家；朴素 FP8 KV 缓存吞吐正常却全部答错，说明速度本身不足。