★ 4
研究：临床医生用 LLM 方式与评测基准脱节
论文分析 6,342 名医护人员在八个月内向机构助手发送的 127,833 条查询，用临床验证框架 RCQ-Map 刻画任务、意图、可答性等。结果显示文档与行政（36.2%）和知识检索（28.9%）占近三分之二，诊断仅 3.7%，超三分之一查询按原样难以回答。对照 58 个公开基准组成的 Clin…
arXiv NLP24 天前
#LLM 评测
共 29 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：开源 LLM 作评委与考生预测医学题难度
论文提出用开源权重 LLM 与试题交互产生的信号来预测医学题目难度，让模型分别扮演评委（绝对评分与两两比较）和模拟考生（正确率、选项概率、响应熵等）。在 USMLE 与 PANCE 数据集上，最佳配置的 Spearman 相关系数分别达 0.447 与 0.494，超过 2024 BEA 共享任务…
arXiv NLP3 天前
★ 3
Rubricon 自动生成评分细则提升 LLM 评测与训练效果
论文提出 Rubricon 流水线，无需人工偏好标注或评分细则注释即可自动生成有区分度的评分细则，通过采样、筛选、补充与剪枝迭代优化。在五个基准上其评分与专家细则的一致性比最佳替代方法高 9%，用其细则后训练 Qwen3.5-9B 在 HealthBench 上提升 4.5%。
arXiv cs.AI3 天前
★ 3
研究：LLM 能否可靠批改奥赛数学证明，MABGrader 误差降 14%
论文系统研究 LLM 对奥赛级数学证明的验证能力，构建 USAMO 2025 人工评分数据集，并评测 20 个模型、七项指标。作者提出 TROJAN 对抗证明生成流程与 MABGrader 多臂老虎机评分框架，后者在二次加权 Kappa 上超 SOTA ProofGrader 26.4%，评分误差…
arXiv cs.AI5 天前
★ 3
论文对比单智能体与多智能体 LLM 在财务审查任务上的表现
一篇 arXiv 论文在信贷评估备忘录审查任务上，控制性对比了单智能体与三智能体团队的表现。结果显示多智能体团队多发现 0.08-0.10 的缺陷，但在四个模型上误报均增加，平衡准确率变化不超过 0.02，且消耗 2.2-2.4 倍 token。研究对「多智能体一定更好」的实践共识提出质疑。
arXiv cs.AI12 天前
★ 3
Salesforce 发布 EGI-BENCH 企业智能体基准套件
Salesforce AI Research 发布 EGI-BENCH，将 CRMARENA、HERB、PERSONABENCH 等八个企业级智能体基准统一到单一命令行接口，并定义六维 EGI 评分。在快速模式下评测 GPT、Claude、Gemini 家族共 14 个模型，EGI 得分从 39.…
arXiv cs.AI12 天前
★ 3
ConCI：LLM 上下文完整性受控反事实基准
论文提出 ConCI 基准，用「锚点流 + 两个单参数反事实」三元组联合评分，只有三条全部判断正确才计分，以区分模型是真的理解上下文还是倾向于一律拒绝。基准含 556 个三元组、1,592 条信息流，每条由 7 名标注者验证。测试七个 LLM 发现，即使最强模型也在约五分之一三元组上出错，且普遍对…
arXiv cs.AI13 天前
★ 3
arXiv 论文：APRiL 中文社交意识开放基准
论文提出 APRiL，一个带实例级评分标准的中文社交意识开放基准，包含 2196 个评估实例、六大类别与两项互补任务。实验覆盖六个家族 12 个模型，揭示出一致的理解到回应差距。高质量场景分析可提升回应质量，而弱分析可能降低回应质量。
arXiv NLP17 天前
★ 3
PersEvalBench：LLM 评测者能否判断人设使用是否恰当
研究者提出 PersEvalBench，测试 LLM 评测者能否识别用户历史信息使用是否恰当，包含 403 个多轮场景与九类受控错误。结果显示五款 LLM 评测者识别能力有限，欠个性化错误上人类识别率 94.4%，最强评测者仅 63.9%，且常将错误方向弄反。
arXiv NLP18 天前
★ 3
预注册研究：提示优化器会破坏未计分要求
论文对 GEPA、MIPROv2、TextGrad 三个提示优化器在 HotpotQA、SQuAD 2.0、IFEval 上做预注册实验，发现优化后提示在提升目标指标的同时违反引用、格式等未计分要求。事后分析显示，在 200 token 输出上限下大量回答因先输出推理而截断，放宽上限后内容回归基本…
arXiv NLP21 天前
★ 2
EPSBench 发布：评测 LLM 智能体季度盈利预测能力
研究者提出 EPSBench 基准，覆盖 86 家美国公司 149 个公司-季度，要求智能体阅读财报、电话会记录与新闻，估算利润表驱动项并换算为 GAAP 摊薄 EPS。评测 6 个模型发现，3 个模型点预测误差与分析师一致预期无显著差异，另 3 个误差更高；名义 80% 预测区间实际覆盖率仅 3…
arXiv NLP3 天前
★ 2
DecompGym 基准测试 LLM 智能体设计分解算法能力
研究者提出 DecompGym 基准，包含 9 类问题共 81 个实例，考察编码智能体实现 Benders 分解与列生成求解器的能力。评测 12 个 GPT、Claude、Gemini 模型发现，多数失败源于方法审计不通过，仅靠输出检查会放过 93/108 次不合格尝试。反思式重试成功率 66%，…
arXiv cs.AI3 天前
★ 2
研究评估 LLM 作为数值优化器的能力与局限
论文构建评估框架，区分解的质量与执行失败（数值误差、约束违反、格式错误），在凸优化、分式规划与约束投影问题上对比 LLM 与确定性求解器。结果显示 LLM 能捕捉优化结构并给出近优解，但随维度升高可靠性下降。迭代精炼可显著提升可靠性，但仍难独立作为优化器使用。
arXiv cs.AI3 天前
★ 2
Mistrial 开源工具：重跑 LLM 评审检测判定翻转
开发者发布开源工具 Mistrial，可对同一批评测用例多次重跑 LLM 评审，跨不同评审模型与评分标准措辞，输出自一致性、翻转案例、kappa/alpha 一致性等可靠性报告。作者指出单次评测只是噪声过程的一次采样，并用 GPT-5.4-nano 等实例展示同一答案判定反复变化。
Hacker News – LLM6 天前
★ 2
Hacker News 讨论：LLM 模型究竟在哪些任务上失败
Hacker News 用户发帖提问，前沿 AI 模型在 Artificial Analysis 等榜单上的评测指标只展示通过率，却很少揭示模型具体在哪些任务上失败。发帖者尤其关注软件工程（SWE）方向的失败基准，希望看到更细粒度的能力短板分析。
Hacker News – LLM13 天前
★ 2
NLData2Opt 基准发布：LLM 从自然语言与数据建模优化问题
现有基准依赖理想化输入，高估了 LLM 将问题描述与数据转化为优化模型的能力。作者推出 NLData2Opt，要求模型从含误导属性的数据中抽取参数、计算派生参数、并预测缺失的未来值。结果显示性能较既有基准大幅下降，说明基准分数的进步并不能直接转化为真实优化工作流中的建模准确率。
arXiv NLP14 天前
★ 2
ParetoOps 为 LLM 评测设置「每成功任务成本」CI 门禁
ParetoOps 推出一项 CI 门禁方案，以「每个成功任务的成本」作为 LLM 评测的核心指标，在持续集成中拦截成本或成功率不达标的模型变更。该思路把成本效率纳入模型迭代的质量把关环节。
Hacker News – LLM14 天前
★ 2
arXiv 论文：PremiseCheck 审稿意见事实核查
论文提出 ReviewFact 基准，用于标注人类与 AI 审稿意见中的事实性错误，并衡量成本与延迟。其 PremiseCheck 框架让 LLM 将评论改写为显式前提、再由决策模型逐条核对论文，在三个领域达到与 GPT-5.5 相当的准确率，成本约为其一半，NLP 审稿场景成本仅四分之一。
arXiv NLP17 天前
★ 2
arXiv 论文：多选题选项偏差的双因子分析
论文提出用合并选择率标准差（pooled SD）连接选择偏差与顺序敏感性两种视角，将其分解为翻转率与位置偏斜两个因子。在 41 个检查点、12 个基准上验证：先验校正主要降低位置偏斜，顺序聚合主要降低翻转率，建议同时报告两因子以区分缓解效果。
arXiv NLP17 天前
★ 2
arXiv 论文：数据智能体上下文工程与行为研究
该论文系统分析了语义层、编排与压缩三种上下文工程技术（CET）对数据智能体的影响，在 7 个 LLM、5 个基准的 1514 个长程任务上评估行为、准确率与成本。研究发现无 CET 的智能体分为调查者、过早作答者和早停者三类，每种 CET 只对匹配的行为组转化为准确率收益，对调查者甚至有害。
arXiv NLP17 天前
★ 2
arXiv 论文：Jev 非生成式验证器级联做 RAG 声明核验
论文比较非生成式决策模型 Jev 与前沿 LLM Astra 在 RAG 声明核验上的表现，两者在常规指标上统计无差异但成本相差 187 倍。系统在 15.2% 声明上不一致，廉价模型对未支持声明的放行率更高。置信度门控级联可省成本，但随机升级对照显示节省主要来自升级比例而非概率选择。
arXiv NLP17 天前
★ 2
arXiv 提出 URW：面向 LLM 评测的保形加权方法
针对基于评分标准的 LLM 评测中判断确定性不均的问题，研究者提出 Uncertainty-aware Rubric Weighting（URW）框架。该方法通过保形校准量化标准级判断不确定性，并转化为每项标准的权重，无需训练。实验表明 URW 持续提升成对偏好准确率并增强下游 RL 对齐效果。
arXiv cs.AI17 天前
★ 2
研究评测 LLM 英孟双语摘要能力
论文对八款闭源与开放权重 LLM 在英语和孟加拉语 XL-Sum 测试集上进行零样本摘要评测，结合词汇、语义指标与事实性验证。结果显示 GPT-5.6 Luna 在英语词汇指标领先，但孟加拉语中 LLaMA 3.3 70B 的 ROUGE 和 BLEU 最高，Gemini 2.5 Flash 事实…
arXiv NLP18 天前
★ 2
AI4Fire：LLM 野火任务评测暴露短板
论文提出 AI4Fire 基准，在五项野火任务上以零样本方式测试六款核心模型（另扩展 29 款）在「裸测」与「有依据」两种条件下的表现。结果显示：只读 SQL 工具可将数据库准确率从最高 16% 提升至至少 88%；简单规则难以被击败，无模型能超过「沿用今日排班数」的基线；公开数据集还存在标签泄漏…
arXiv NLP24 天前
★ 2
Cassis 发布 LLM 分析智能体基准测试
Cassis 发布针对分析型 AI 智能体的 LLM 基准测试，评估不同模型在数据分析任务中的表现，帮助企业为分析场景选择最合适的模型。
Hacker News – LLM24 天前
★ 2
多智能体 LLM 预测：2026 世界杯前瞻实证研究
研究以 2026 世界杯最后 56 场比赛为对象，在固定前沿基座模型的前提下，设置量化专家与新闻专家两个预测智能体，再经评论者与元智能体合成，形成四智能体序列，并以博彩市场为外部基准。结果显示新闻专家 Top-3 效用最高，与博彩市场命中数持平；但两专家在 56 场中有 50 场至少两个比分一致，…
arXiv cs.AI49 天前
★ 1
开发者推出 LLM 基准测试排行榜验证站 llmverifications
开发者发布 llmverifications.com，声称提供更准确的即将发布 LLM 基准测试排行榜。该项目试图解决现有榜单数据滞后与可信度问题，属于社区工具类尝试。
Hacker News – LLM5 天前
★ 1
Show HN：基准测试 LLM 在对抗性语言中的编码能力
开发者发布 killswitch-lang 基准测试站点，用于评估大语言模型在一种对抗性编程语言中的代码生成能力。该测试考察模型面对非主流、刻意设计的语言语法时的适应与推理表现。属于 Hacker News 社区分享的小众评测项目。
Hacker News – LLM14 天前
★ 1
Evalship 分析 CI 中 LLM 评测的噪声问题
Evalship 发布文章探讨在持续集成环境中运行 LLM 评测时结果波动（噪声）的来源与影响，帮助开发者理解评测稳定性问题。
Hacker News – LLM24 天前