Semantic Entropy

传统熵基于词元概率，但不同措辞可表达同一含义，导致高熵未必代表不确定。语义熵先对多次采样答案按语义聚类，再计算聚类分布的熵，能更准确识别模型“不知道”的情况，常用于幻觉检测与不确定性估计，提升大模型输出的可靠性。