技术
LLM 评测
系统衡量大语言模型在知识、推理、安全等维度表现的方法与基准体系。
详细解释
LLM 评测包括静态基准（如 MMLU、GSM8K、HumanEval）、人类偏好对比（如 Chatbot Arena）以及自动化裁判模型打分等。评测需关注数据污染、提示敏感性和指标可靠性等问题。随着模型能力提升，评测正从单一准确率转向多维度、动态更新和贴近真实任务的综合评估，是模型研发与选型的重要依据。
别名与相关写法
llm 评测
相关术语
evals共现 2 篇
uncertainty共现 1 篇
相关资讯
Rubricon 自动生成评分细则提升 LLM 评测与训练效果2026/10/30
研究：交互式 LLM 评测中整体准确率会掩盖提示特定误差2026/10/26
PersEvalBench：LLM 评测者能否判断人设使用是否恰当2026/10/15
ParetoOps 为 LLM 评测设置「每成功任务成本」CI 门禁2026/10/19
arXiv 提出 URW：面向 LLM 评测的保形加权方法2026/10/16
Evalship 分析 CI 中 LLM 评测的噪声问题2026/10/8