#推理确定性

研究揭示文本分类服务上下文非确定性

一篇 arXiv 论文系统研究了文本分类器在不同服务上下文下的非确定性，训练了 180 个模型并跨四类服务场景评估。研究发现标签稳定不代表分数稳定，仅改变批次形状在 bf16 下可移动高达 56.7 个百分点的预测概率质量。全生成式分类器比判别式分类器更易受服务变化影响。