技术
大模型评测
大模型评测是系统化评估大语言模型能力的方法,通过基准测试衡量模型在知识、推理、安全等方面的表现。
详细解释
随着大模型规模扩大,评测成为衡量模型优劣的关键。传统评测依赖静态数据集(如MMLU、GSM8K),但存在数据污染和过拟合问题。现代评测结合动态生成、对抗测试和人类评估,并关注公平性、鲁棒性和安全性。评测结果指导模型迭代和选型,是AI产品化的重要环节。
别名与相关写法
大模型评测LLM evaluation
相关术语
相关资讯
Rubricon 自动生成评分细则提升 LLM 评测与训练效果2026/10/30
研究:交互式 LLM 评测中整体准确率会掩盖提示特定误差2026/10/26
BENCHCOMPASS:支付领域大模型评测基准2026/9/17
ABLE基准:评估LLM智能体使用蛋白质设计工具的能力2026/9/9
用Rasch测量理论评估大语言模型2026/8/31
arXiv 提出 URW:面向 LLM 评测的保形加权方法2026/10/16
基于贝叶斯赌博机的低成本大模型评测2026/9/23