技术
inference(推理)
推理是使用训练好的AI模型对新数据做出预测或决策的过程,是模型从训练走向实际应用的关键步骤。
详细解释
推理阶段,模型利用学习到的参数处理输入数据,生成输出。与训练相比,推理通常需要更低的计算资源,但对延迟和效率要求更高。推理优化技术如模型剪枝、量化和知识蒸馏被广泛使用,以在保持精度的同时提升速度。推理是AI部署的核心,广泛应用于图像识别、自然语言处理等领域。
别名与相关写法
inference
相关术语
LLM Inference共现 22 篇
LLM 推理共现 14 篇
inference-time共现 11 篇
论文共现 8 篇
Inference Engine共现 7 篇
AI Inference共现 7 篇
相关公司
相关资讯
DeepSeek 开源推理引擎 DeepInfer2026/10/20
推理服务商Modal Labs接近完成7.5亿美元融资,估值157.5亿2026/9/29
研究:大型推理模型推理阶段的能力与效率缩放规律2026/9/24
研究发布推理工程帕累托图谱,测54种Qwen2.5-7B配置2026/9/17
英伟达Vera Rubin NVL72首秀MLPerf推理测试领先2026/9/16
英伟达详解BioNeMo推理运行时BioIR2026/9/11
DeepSeek发布SPCT技术提升推理扩展2025/4/11
OpenAI辣椒芯推理性能卓越2026/8/25