技术

LLM-as-Judge（LLM评审）

LLM-as-Judge 是一种利用大语言模型自动评估文本质量的方法，解决人工评估成本高、难以规模化的问题，典型应用包括聊天机器人回复评分和模型输出对比。

收录于 2026/9/10相关资讯 1 篇在词典中查看 →

详细解释

传统评估依赖人工或 BLEU 等指标，但人工昂贵且指标与人类判断相关性低。LLM-as-Judge 通过设计提示词让大模型（如 GPT-4）对生成内容打分或比较，支持成对比较、单点评分等模式。代表工作如 MT-Bench 和 Chatbot Arena 使用 GPT-4 作为裁判，与人类偏好高度一致。需注意位置偏差、冗长偏差等问题，可通过交换顺序、少样本示例缓解。

别名与相关写法

llm-as-judge