技术
inference-time（推理阶段）
inference-time指模型训练完成后进行前向推理的阶段，解决如何高效、低延迟地部署模型的问题，典型应用包括实时目标检测、在线推荐和边缘计算。
详细解释
推理阶段关注计算效率、内存占用和延迟，与训练阶段不同，无需反向传播。优化技术包括量化、剪枝、知识蒸馏和算子融合。硬件上常使用GPU、TPU或专用加速器。推理时延和吞吐量是衡量部署性能的关键指标，直接影响用户体验和成本。
别名与相关写法
inference-time
相关术语
inference共现 10 篇
inference-time compute共现 1 篇
Conformal Prediction共现 1 篇
Language Model共现 1 篇
Flow Matching共现 1 篇
Long-Horizon共现 1 篇
相关公司
相关资讯
arXiv 实测推理期上下文增强：准确率提升多为无向扰动2026/10/23
论文审计推理时模型漂移下语言模型共形预测覆盖率失真2026/10/22
推理时图工程：多智能体LLM工作流的新视角2026/9/9
新方法用推理时算力与部署脚手架提升对齐评估真实性2026/9/3
ReMedI：推理时精炼与自蒸馏实现可控分子优化2026/10/26
CTRL-FM：面向长时节点故障的流匹配虚拟传感推理时结构控制框架2026/10/23
BSIT 采样器提升稀疏奖励下推理时搜索效率2026/10/20
ConicFlow：流匹配模型的约束推理时最优控制2026/10/14