★ 3
SkillEval 提出用认知诊断模型评估大模型技能画像
论文提出 SkillEval 评估框架，利用大模型自身能力从题目中自动发现可解释技能，再借助心理测量学的认知诊断模型（CDM）估计模型在各技能上的能力。在 3811 个模型、9523 道题、五个基准上实验，所得画像比平均分更能预测未见题目表现，并可用于模型路由（推理成本降 60% 以上）与自适应测…
arXiv NLP11 天前
#大模型评估
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
WhatIfBench：评估大模型反事实推理的幻觉
WhatIfBench 是一个开放域、开放形式、长程反事实因果推理的诊断基准，包含 220 个问题。PRISM 框架将解释转换为语义因果图并评估。最强模型仅得 64.62%，显示反事实推理远未饱和，存在因果缺口和前提漂移。
arXiv cs.AI63 天前
★ 2
arXiv 论文提出组件级框架评估上下文学习概念恢复
该研究指出上下文学习（ICL）预测准确并不代表模型真正掌握了底层概念。作者提出组件级概念恢复框架，将概念拆解为定义性组件并做受控结构干预，在四个指令微调 LLM 与三种组合形式上测试。结果显示模型常高准确率却整体概念恢复差，联合监督恢复与隐式预测可显著改善且能力可迁移。
arXiv cs.LG13 天前
★ 2
GeoFitBench-LLM：评估大模型地理空间数据需求推理能力的新基准
研究者发布 GeoFitBench-LLM 基准，用于评估大语言模型能否从自然语言地理分析请求中推断所需数据集、支撑资源与约束条件。基准围绕时空关系与语义接地两个推理维度构建，采用固定且与数据提供方无关的 schema 编码标准答案。在七个模型的最小提示实验中，GPT-5.4 Thinking 表…
arXiv NLP21 天前
★ 2
Jev 网络流量分类的首次实证评估
论文首次实证评估通用决策模型 Jev 在网络流量应用分类上的表现，仅用前十个包的大小、方向与到达间隔。在 CESNET-QUICEXT-25 的 5.2 万条记录上，40 个标注样本将准确率从 9.80% 提升到 28.42%，但仍低于随机森林（69.95%）与 Extra Trees（66.80…
arXiv cs.LG31 天前
这个主题的相关资产
相关术语大模型评估