Real-time generation（实时生成）

实时生成依赖模型推理优化，如KV缓存、量化、算子融合和并行解码。传统生成需完整计算后才输出，而实时生成采用流式输出，每步生成一个token并立即返回，用户可边生成边阅读。技术挑战在于平衡速度与质量，常用方法包括模型剪枝、蒸馏、硬件加速（GPU/TPU）及批处理优化。代表工作有OpenAI的流式API、Hugging Face的Text Generation Inference。