技术
Meta-evaluation（元评估）
元评估指对评估方法本身进行再评估，即衡量评估指标、基准或流程的可靠性与有效性，解决AI评估中指标偏差、数据泄漏等问题。典型应用包括对LLM评测基准的审计和评估指标的可信度分析，代表工作如HELM和BIG-bench的元分析。
详细解释
随着AI模型能力提升，传统评估方法可能失效，如基准饱和、指标被操纵。元评估通过分析评估过程的偏差、方差和泛化性，确保评估结果可信。技术包括统计检验、对抗性测试和跨基准一致性分析。在LLM时代，元评估用于检验评测集是否泄漏、指标是否与人类判断一致。典型工作如对MMLU、HELM等基准的元分析，以及评估指标（如BLEU、ROUGE）的局限性研究，推动评估科学化。
别名与相关写法
meta-evaluation