技术基础术语

推理成本（Inference Cost）

推理成本指AI模型在部署阶段处理输入并生成输出所需的计算资源开销，解决模型落地时的经济性和效率问题，典型应用包括模型压缩和推理优化。

收录于 2026/8/27相关资讯 596 篇近 30 天 381 篇在词典中查看 →

详细解释

推理成本包括计算、内存和能耗，受模型规模、序列长度和硬件影响。背景是大模型参数激增导致部署昂贵。技术说明涉及量化、剪枝、知识蒸馏和批处理等优化方法，以及专用芯片（如TPU）和推理框架（如TensorRT）。代表工作有GPTQ、vLLM等，旨在降低延迟和成本。

别名与相关写法
inference推理token成本

相关术语

Reasoning共现 102 篇
Token共现 72 篇
inference共现 45 篇
Agent共现 37 篇
Language Model共现 23 篇
论文共现 20 篇

相关公司

阿里巴巴38 篇深度求索（DeepSeek）18 篇OpenAI14 篇Anthropic13 篇英伟达（Nvidia）10 篇谷歌（Google）8 篇

相关资讯

完整术语表见 AI 术语词典； 每日新术语与进展见 AI 早报。