技术
MMLU
大规模多任务语言理解基准，用多学科选择题测试AI的综合知识与推理能力。
详细解释
MMLU（Massive Multitask Language Understanding）由UC Berkeley等机构于2020年提出，涵盖STEM、人文、社科等57个学科、约1.5万道四选一题目，难度从小学到专业考试不等。它通过few-shot提示评估模型跨领域知识迁移能力，是衡量大模型通用智能的常用指标，但存在数据污染和偏重记忆的争议。
别名与相关写法
mmlu
大规模多任务语言理解基准，用多学科选择题测试AI的综合知识与推理能力。
MMLU（Massive Multitask Language Understanding）由UC Berkeley等机构于2020年提出，涵盖STEM、人文、社科等57个学科、约1.5万道四选一题目，难度从小学到专业考试不等。它通过few-shot提示评估模型跨领域知识迁移能力，是衡量大模型通用智能的常用指标，但存在数据污染和偏重记忆的争议。