★ 3
研究：LLM评审对句式改写敏感，可致模型排名反转
论文提出「Prompt Lottery」现象：语义等价但表面表述不同的评审提示会让LLM-as-a-Judge给出不同判断，部分场景下甚至反转模型相对排名。10名标注者的用户研究显示，LLM评审在提示改写下的一致性下降幅度是人类的6至9倍。多提示聚合可显著提升评审稳健性。
arXiv NLP3 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出「Prompt Lottery」现象：语义等价但表面表述不同的评审提示会让LLM-as-a-Judge给出不同判断，部分场景下甚至反转模型相对排名。10名标注者的用户研究显示，LLM评审在提示改写下的一致性下降幅度是人类的6至9倍。多提示聚合可显著提升评审稳健性。
该论文研究如何通过训练阶段而非推理阶段的提示优化来提升大语言模型对提示措辞的鲁棒性。作者发现同一提示的不同改写版本在梯度上存在干扰，57% 出现符号冲突，朴素梯度平均会损失约五分之一幅度。为此提出 Prompt-TIES 与 Prompt-DARE 两种梯度合并方法，在四个模型上将近乎减半逐样本方…