★ 3
研究：LLM评审对句式改写敏感，可致模型排名反转
论文提出「Prompt Lottery」现象：语义等价但表面表述不同的评审提示会让LLM-as-a-Judge给出不同判断，部分场景下甚至反转模型相对排名。10名标注者的用户研究显示，LLM评审在提示改写下的一致性下降幅度是人类的6至9倍。多提示聚合可显著提升评审稳健性。
arXiv NLP3 天前
#LLM评审
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：决策语言模型 Jev 可低成本替代临床 AI 的 LLM 评审
一篇 arXiv 论文提出决策语言模型 Jev，用于对临床生成式 AI 的输出做结构化评判。在儿科问答、HealthBench 与 MedHELM 等四项评测中，Jev 与医生评分的吻合度接近或超过 Claude Opus 5.5、GPT-6 等前沿 LLM 评审，而成本仅为后者的 1/73 至 …
arXiv cs.AI11 天前
★ 3
LLM评审员职业测量审计：排序一致不等于尺度一致
研究提出O*NET-BENCH审计套件，基于45,796份工人评分数据，评估33种LLM评审配置。结果显示，25种配置在配对排序准确率上达到0.60以上，但可接受率估计从3.0%到97.9%不等，与职业匹配工人的61.1%差距巨大。研究表明，排序一致性不足以支撑职业测量，评审员应针对其分数将被用于…
arXiv cs.AI28 天前
★ 3
新框架用快速树搜索实现编码智能体自我改进
论文提出 SIFT（Recursive Self Improvement via Fast Tree-search），针对编码智能体自我修改时评估瓶颈问题，引入 LLM-as-a-judge 对候选补丁做成对比较，用正则化 Bradley-Terry 模型聚合胜负记录，驱动轻量分离式树搜索中的排名…
arXiv cs.AI45 天前
★ 3
研究：推理能否提升大模型心理深度取决于评判者
论文通过短篇故事的心理深度研究LLM-as-a-Judge的失效模式，七位人类读者与在原始PDS数据集上筛选的LLM评审团评估60对盲测故事。人类偏好未显示普遍推理优势：GPT-5略优于GPT-4o，而DeepSeek-R1落后V3，读者间一致性接近随机（α=0.070）。评审团却在89%维度比较…
arXiv cs.LG48 天前
★ 2
AdMan：个性化广告图像自动生成流水线
论文提出 AdMan 多智能体流水线，将客户数据转化为用户画像，基于产品参考图生成个性化广告图像，并用 LLM 评审智能体做自动质检。在 4 类产品、100 个真实客户画像上生成 1745 条广告，结果显示可产出照片级个性化广告，但效果随产品复杂度和模型配置差异明显。研究验证了全自动广告图像生成的…
arXiv cs.AI49 天前