★ 3
用残差流激活预测 LLM 评判位置翻转
论文研究 LLM 评判者因候选回答呈现顺序不同而改变判决的「位置翻转」现象。作者检验初始判决前的残差流激活能否预测翻转，在 JudgeBench 上对三个 Qwen3 评判者与 Llama-3.1-8B 训练线性探针，AUROC 达 0.621–0.850，优于结合置信度、logits 与回答长度…
arXiv cs.LG26 天前
#LLM 评判
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
稀疏重叠下的 LLM 评判者验证
论文证明标注重叠稀疏性是 LLM-as-a-judge 部署决策错误的首要决定因素：5% 成对重叠下错误决策率达 25%，在十个候选中选错最佳评判者的概率为 65%。作者给出最小重叠公式与零成本分层分配方案，并在 10 个 LLM 评判者、四个评估矩阵上验证。
arXiv cs.AI34 天前
★ 2
Viridian 复现 LLM 评判位置偏差：证据不足
Viridian 发布技术说明，尝试复现成对 LLM 评判中的响应顺序敏感性。在 GPT-5.6 Sol 评判配置下，20 组对比中仅 1 组出现第二位置偏好，5% 的切换率置信区间过宽，无法证实存在系统性位置偏差，也无法证明模型完全位置稳健。
Hacker News – LLM25 天前