#推理配置

论文审计推理时模型漂移下语言模型共形预测覆盖率失真

论文指出语言模型共形预测通常在标定与部署配置一致的匹配协议下评估，而实际部署常因量化模式、温度等不同产生推理时模型漂移。在 8 个模型、4 个基准、12 种推理配置上的实验显示匹配评估会显著高估部署覆盖率，且效应因模型与数据集而异。