★ 3
SkillEval 提出用认知诊断模型评估大模型技能画像
论文提出 SkillEval 评估框架，利用大模型自身能力从题目中自动发现可解释技能，再借助心理测量学的认知诊断模型（CDM）估计模型在各技能上的能力。在 3811 个模型、9523 道题、五个基准上实验，所得画像比平均分更能预测未见题目表现，并可用于模型路由（推理成本降 60% 以上）与自适应测…
arXiv NLP11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 SkillEval 评估框架，利用大模型自身能力从题目中自动发现可解释技能，再借助心理测量学的认知诊断模型（CDM）估计模型在各技能上的能力。在 3811 个模型、9523 道题、五个基准上实验，所得画像比平均分更能预测未见题目表现，并可用于模型路由（推理成本降 60% 以上）与自适应测…