#LLM评估

共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 3

CuBEs：文化情境化行为评估与「文化盲」LLM评判者的局限

论文提出 CuBEs 框架，将文化情境注入LLM行为测试场景与评估流程，并构建覆盖12种文化的人工标注数据集。对13个开源与闭源模型评估发现，文化情境会显著改变谄媚、偏见等行为的表现，非西方情境会暴露宗教、殖民等不同偏见维度。研究指出文化无关的通用评估无法捕捉这些差异，呼吁全球部署采用文化情境化测…

arXiv cs.AI28 天前

★ 3

LLM临床分诊建议基准：与医生专家对比

研究构建了包含6000多个临床场景、7000条医生标注与22.5万条模型回复的基准，在保持临床情境不变的文本扰动下比较LLM与执业医师的分诊建议。结果显示LLM在基线时更易推荐不必要医疗，且在输入扰动下倾向加剧，对性别与语气变化比人类更敏感。作者呼吁以专家医生行为为基准开展面向部署的评估。

arXiv cs.AI32 天前

★ 3

SciLitBench：LLM系统综述基准

引入SciLitBench，一个多阶段基准，涵盖标题摘要筛选、全文筛选和模式引导数据提取。评估22个开源LLM，发现明确纳入排除标准可提升筛选F2，但数据提取可靠性下降，最强模型仅恢复部分证据。该基准为评估LLM辅助证据综合提供资源。

arXiv cs.AI54 天前

★ 3

统计问题表述的语言模型基准：StatFormBench

本文形式化统计问题表述为分类和变量识别两个子任务，并引入StatFormBench基准，包含1013个样本，覆盖20个粗粒度和85个细粒度类别。14个开源和闭源LLM中，最佳零样本模型仅达72.0%细粒度分类准确率和63.2%变量集重叠。增强提示策略收益有限。

arXiv cs.AI60 天前

★ 3

用Rasch测量理论评估大语言模型

该论文提出用Rasch测量理论（RMT）评估大语言模型在作为考生、裁判和评分者时的表现。研究发现LLM与人类评分者在严重性、项目校准、问题顺序稳健性等方面存在系统性差异。RMT能识别校准错误和评分者偏差，应纳入LLM评估工具包。

arXiv cs.AI63 天前

★ 3

心智化能力评估：人类与LLM对比研究

该研究利用两种经济博弈和认知计算建模，评估了DeepSeek、GPT-4.1、GPT-5和Gemini 2.0 Flash等LLM的心智化能力。结果显示LLM表现出与人类不同的心智化特征，且GPT-5在灵活推理上超越人类。研究强调认知计算建模是评估人机智能差异的有效方法。

arXiv cs.AI66 天前

★ 3

长上下文窗口对AI生成文献综述的影响评估

研究评估了短长上下文设置下LLM生成的文献综述质量，发现AI生成综述需人工监督才能达到学术出版标准。上下文窗口增大虽能纳入更广信息，但加剧内容重复、遗漏关键工作等问题。

arXiv cs.AI66 天前

★ 2

MARQ：注入系统工程知识的模块化LLM需求质量评估器

该论文提出 MARQ，一个模块化、不依赖特定 LLM 的需求质量评估原型，通过注入 INCOSE 需求质量标准对应的知识栈来增强模型能力。在专家标注的 NASA 需求集上，Claude Opus 5 的 F1 中位数从 0.55 提升至 0.80，GPT-5.6 Sol 从 0.52 升至 0.6…

arXiv cs.AI5 天前

★ 2

ARTS-Hybrid：机制引导的LLM评分标准生成与优化

研究者对评分标准（rubric）设计进行系统性机制分析，发现结构化组织能构建更全面的评判标准，而单纯的语义规范不足以保证评判质量，复杂分数聚合收益有限。据此提出ARTS-Hybrid方法，结合自适应树构建与语义优先、响应校准的优化策略，在多个基准上同时提升端到端评估性能与评分标准本身质量，并可为模…

arXiv NLP21 天前

★ 2

对抗鲁棒最优信号与显著性极点的重合

论文研究当知情对手与受众共享受限信号通道时，最能保护真相的信号恰是最能描述真相的信号。在108个确认项上，对抗鲁棒最优与既有工作的显著性极点完全重合，20万项池中仅2748项不同。作者通过引入带说服预算的对手证明，随预算增长最优信号从后验最大化转向边际最大化，并指出这种重合在结构上限制了对抗感知的…

arXiv cs.AI31 天前

★ 2

临床试验人机交互的多维分类框架

论文提出一套多维框架，按AI任务、人机关系、交互配置与参与人群对临床试验中的人机交互进行分类。研究从既有数据集中抽取15项试验，由两名人类评审与六个LLM分类器独立标注。结果显示LLM辅助分类可行，但在记录不完整或含糊时人类判断仍不可替代。