技术

LLM Judge（大模型评判）

LLM Judge指使用大语言模型作为评估器，自动评价其他模型输出的质量，解决人工评估成本高、不一致的问题。它通过设计提示词让LLM对生成内容打分或排序。典型应用包括聊天机器人回复评估和模型对比。

收录于 2026/9/10相关资讯 15 篇近 30 天 11 篇在词典中查看 →

详细解释

LLM Judge通常基于强LLM（如GPT-4）构建，通过提供评分标准、参考示例等提示，让模型对候选输出进行多维评价。技术包括成对比较、单点打分、思维链推理。挑战包括位置偏差、自我增强偏差。代表工作有MT-Bench、Chatbot Arena。

别名与相关写法

llm judge

相关术语

LLM 评审共现 7 篇

Agent共现 3 篇

微调共现 1 篇

Language Model共现 1 篇

generative AI共现 1 篇

Position Bias共现 1 篇

相关公司

阿里巴巴2 篇谷歌 DeepMind（Google DeepMind）1 篇 Anthropic1 篇

相关资讯

论文提出 HRS 方法让冻结 LLM 评审对齐人类评分分布2026/10/30

研究：Arena-Hard 用 GPT-4.1 评审，指令微调可致 28% 判定翻转2026/10/23

研究：决策语言模型 Jev 可低成本替代临床 AI 的 LLM 评审2026/10/22

Kairos 实验：三个 LLM 评审无法分辨 AI 智能体的真实与伪造记忆2026/10/18

CuBEs：文化情境化行为评估与「文化盲」LLM评判者的局限2026/10/5

LLM评审员职业测量审计：排序一致不等于尺度一致2026/10/5

稀疏重叠下的 LLM 评判者验证2026/9/29

LLM评判用于专利撰写智能体评估2026/9/15

完整术语表见 AI 术语词典；每日新术语与进展见 AI 早报。