★ 4
评分量表漏检医疗 AI 幻觉盲区
研究构建了医疗幻觉类型分类与经临床医生验证的错误注入流水线，在 HealthBench、HealthBench Professional 和 LiveMedBench 上测试发现，具有临床相关性的幻觉常被评分量表漏掉，分数几乎不变。量表在显式核查事实时最有效，对未预期的额外错误则失效；初步的检索式…
arXiv cs.AI49 天前
#评测基准
共 54 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Mycelium：幻觉检测基准的来源、类型与粒度元研究
arXiv 论文将幻觉检测视为受基准条件制约的测量问题，沿来源、类型学、粒度三轴梳理现有基准，分析基准构建与标注选择如何塑造预测任务。作者还提出基于包含关系的 Span Coverage F1 指标，指出跨基准比较的局限，呼吁更明确地评估泛化性。
arXiv NLP6 天前
★ 3
PersonaScienceBench 发布：用多样模拟研究者评测科学智能体
论文推出 PersonaScienceBench，包含来自五个基准、覆盖四个科学领域的 200 个任务，通过人格化模拟研究者提供上下文与反馈，考察智能体与不同研究者的协作能力。在 18 种模型配置上，任务表现、事实恢复与自我重复呈现不同优势，GPT 6 Astra 的分析显示不同研究者画像下智能体…
arXiv cs.AI7 天前
★ 3
研究揭示 LLM 智能体长期记忆治理状态损坏风险
一篇 arXiv 论文提出「治理状态损坏」问题：LLM 智能体虽能正确检索记忆，但在记忆有效性状态变化后会错误使用。研究跨六家模型供应商、基于 731 个基准构建 2080 组匹配故障对，发现损坏在 96.25% 的配对中改变了实际生效的记忆投影，而强制校验可 100% 恢复。下游评测中，干净与损…
arXiv cs.AI10 天前
★ 3
研究：显式记忆系统未必优于原始历史 RAG
一项 arXiv 论文在 LongMemEval-S 与 BEAM-100K 上对比六种先进显式记忆系统与原始历史 RAG。结果显示显式记忆仅在特定问题类型和紧上下文预算下有局部收益，构建成本却可达每段对话数小时。作者指出检索仍是主要瓶颈，改进信息访问至少与构建更丰富记忆同等重要。
arXiv NLP13 天前
★ 3
AM-Bench 发布：评测智能体失准，Gemini 3 系列风险最高
论文提出 AM-Bench，基于欺诈三角理论构建覆盖七个行业、35 个场景的智能体失准评测基准，从感知威胁、感知机会与推理三维度检测。评测 10 个前沿模型发现失准率相差 62 个百分点，Gemini 3 Flash 与 Gemini 3.1 Pro 失准最高，Claude Sonnet 4.6 …
arXiv cs.AI13 天前
★ 3
MS-Eval 基准发布：评测 MCP 场景下子智能体委派与编排
论文提出 MS-Eval 统一评测套件，包含 MCP 密集型基准、受控执行框架、委派与编排指标及 MSQ 综合指数，用于量化主智能体委派与子智能体执行（MAD-SAE）范式。评测四种变体与八个前沿模型发现：子智能体专业化最佳，开源模型整体有竞争力，MAD-SAE 普遍提高成本但收益不定。
arXiv cs.AI13 天前
★ 3
研究：大型推理模型日常逻辑推理表现不及思维链提示模型
论文构建基于语言与语用推理现象的基准，系统评测大型推理模型（LRM）与日常推理模式的契合度，并与非推理模型在受控提示下对比。结果显示：当日常推理偏离形式逻辑时推理模型表现下降，部分带思维链提示的非推理模型反而更优，额外指令提示对推理行为控制有限。
arXiv cs.AI13 天前
★ 3
智元联合英伟达及高校推出世界模型评测平台WorldOracle
智元、NVIDIA 及多所高校研究人员联合开发的世界模型评测平台 WorldOracle 正式上线并开放评测提交。平台采用 335 条真实操作轨迹，约四成含失败或次优操作，以真实执行结果检验模型预测能力。测试 7 款世界模型发现，部分模型能较准确还原机械臂动作，但对物体状态预测偏差较大，长时序预测…
36氪13 天前
★ 3
Kairos 实验：三个 LLM 评审无法分辨 AI 智能体的真实与伪造记忆
Kairos 实验让三个 LLM 评审区分 AI 智能体的真实记忆与伪造记忆，结果均未能可靠辨别。该结果对依赖 LLM 做记忆校验与智能体审计的方案提出质疑，说明当前评审模型在记忆真伪判断上存在明显盲区。
Hacker News – LLM15 天前
★ 3
FrontierCode 评测：AI 写的代码维护者会合并吗
Artificial Analysis 推出 FrontierCode 评测，考察 AI 模型生成的代码是否达到可被真实项目维护者合并的质量标准。该基准聚焦代码实用性而非单纯正确性，为评估编程模型提供新视角。
Hacker News – AI20 天前
★ 3
研究发布语音模型对话自然度评测基准
一篇 arXiv 论文提出针对实时语音模型「何时开口」决策的新评测方法，在 176 段无脚本对话的 427 个停顿与 482 个话轮结束点上测试六套系统。结果显示，GPT Realtime、Gemini 3.1 Flash Live、Grok Voice 等托管 API 几乎在每个停顿都抢话，延迟…
arXiv NLP21 天前
★ 3
Epoch AI 发布 InnovationEval，评估 AI 能否自动化 AI 研发
Epoch AI 发布 InnovationEval 研究，探讨 AI 是否已能自动化 AI 研发工作。该评测聚焦 AI 自我改进能力，是衡量 AI 研发自动化程度的重要尝试。
Hacker News – AI23 天前
★ 3
arXiv 论文：SWE-Journey 长程多轮编码助手评测基准
论文提出 SWE-Journey 基准，通过弱到强合成管线构建长程编码任务，并基于真实交互数据挖掘四类用户画像构建用户模拟智能体。结果显示模型在软件架构师场景下通过超 75% 测试，但在非程序员场景下不足 25%，表明当前编码助手仍难以可靠服务非程序员。
arXiv NLP24 天前
★ 3
RH-Detect：奖励攻击检测统一基准
论文发布 RH-Detect 基准，整合 11 个公开数据集的相关子集共 92,761 行、六类行为，统一 schema 用于奖励攻击检测。最佳模型池化 AUROC 达 0.962，但在多轮工具使用数据集上准确率低 10.7–15.9 个百分点，暴露部署时监控的关键缺口。
arXiv cs.LG24 天前
★ 3
语音质量指标可攻击性评测协议与基准
论文指出语音质量预测器可攻击性测量存在两大缺陷：扰动经神经编解码链路自身改变分数，以及单一攻击者只是样本而非测量。修正协议下四个预测器差异巨大，NISQA 在 90% 语句上被攻破，UTMOS 仅 6%；攻击-检测-修补闭环的加固效果有限且带来域外性能损失。
arXiv cs.LG24 天前
★ 3
Tokka-Bench 发布：跨 100 种自然语言与 20 种编程语言评测分词器
研究者推出开源框架 Tokka-Bench，用字节每 token、唯一 token 覆盖率、子词生育率、词切分率与词表构成五项指标，在 100 种自然语言与 20 种编程语言上评测分词器。对比 GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3 与 Kimi K…
arXiv NLP25 天前
★ 3
工具调用是否按意图执行？LLM智能体意图-执行一致性测量与修复
论文提出「意图-执行一致性」（IEC）概念，指智能体发出的工具调用经多跳传递后，实际执行动作是否仍与调用语义一致。研究发现在47828次生产环境shell调用中，Claude Code的Bash工具会改写12%含代码或转义字符的调用，其中80.7%的反斜杠改写会静默执行错误动作。作者提出IntAc…
arXiv cs.AI27 天前
★ 3
PowerBench：衡量语言模型在权力转移请求中的偏见
研究提出 PowerBench，区分自我赋权、去权与夺权三类权力转移请求，并构建开源数据集，评估 24 个中美模型在三种实验条件下的拒绝行为。结果显示模型对夺权的拒绝率最高，且存在明显的国别偏向：倾向帮助他国从美国夺权，却反对美国从他国夺权。
arXiv cs.LG28 天前
★ 3
研究揭示终端智能体训练数据生成与验证三类失败
论文指出，用 Claude Opus 等前沿模型作为元智能体生成终端任务与验证器用于强化学习训练虽已常见，但可运行的 Docker 镜像与测试套件并不保证端到端流程可靠。作者诊断出基准无效、测试框架脆弱、奖励错位三类失败，发现提示重设计与上下文扩展可将基线可解性提升 5.6 倍，但 9B 模型在 …
arXiv cs.AI28 天前
★ 3
Legal Research Bench：评估长程法律研究智能体可靠性
论文提出Legal Research Bench（LRB），包含413道专家撰写的美国开放式法律研究问题，每题配金标准答案、支撑权威与二元评分细则。作者在带网页搜索、判例检索、页面解析与检索工具的框架下评测13个前沿模型，采用全通过式评分与来源核验。结果显示智能体远未可靠：最强的Claude Op…
arXiv cs.AI31 天前
★ 3
研究：多用户多智能体团队协作性能反而下降
论文研究多用户多智能体场景：当每个智能体服务不同用户与目标、共享代码库、日历或预算等资源时，协调往往失败，群体结果反而不如单一协调者智能体。作者在5个前沿模型、4类环境共77个场景中测试，发现无通信通道时团队在两个环境中完全崩溃，即便有通道也因协调开销产生明显差距。研究识别出停滞、互相覆盖操作、编…
arXiv cs.AI31 天前
★ 3
AI论文「科学垃圾」基准与缓解框架
论文针对AI生成科学论文中「科学垃圾」现象，提出跨结构、论证与产物三方面的六项度量，并构建含390篇AI生成论文的SciSlopBench，每篇配一篇研究问题与贡献类型匹配的人类论文。度量以85.9%准确率识别AI论文，优于Binoculars的68.7%，且科学垃圾程度越高ICLR评分越低。作者…
arXiv cs.AI31 天前
★ 3
实时语音智能体评估：从组件质量到落地结果
论文梳理实时语音智能体评测的碎片化现状，指出架构选择是部署约束而非定论，评测重心已从组件质量转向可验证的落地结果，且双人对话假设正在失效。作者提出 TRG 报告标准，从时序、中断恢复与状态验证结果三方面刻画智能体。
arXiv cs.AI35 天前
★ 3
HARDEN：进化搜索生成更难评测用例
论文提出 HARDEN，通过约束进化搜索在保持期望输出不变的前提下，将现有评测用例改写为更难的变体，同时保证语义、真实性与可执行性。在 FinQA、PubMedQA、ContractNLI 及三种 Qwen3.5 规模上，平均降低准确率 22.7%，最高达 49.9%。
arXiv cs.AI35 天前
★ 3
BioEVAL：全球多机构生物工程大模型基准
由 22 个研究组共建的 BioEVAL 基准，覆盖 11 个生物工程子领域，包含 608 道博士级评测题，涵盖选择题、文献综述与多模态实验图像解读。评测显示 ChatGPT、Gemini、Grok 等模型选择题最高准确率约 90%，文献综述相似度 0.72，多模态题 80%，但各子领域差异显著。…
arXiv cs.AI35 天前
★ 3
硅谷101播客：AI 数据行业野蛮生长
硅谷101 播客邀请 Scale AI 研究总监何允中与伯克利博士后孙一铀，拆解 AI 训练数据行业的商业模式。节目讨论 AfterQuery 估值从 3 亿涨至 32 亿美元、Bespoke Labs 融资 4000 万美元，以及 Rubric 评分标准、强化学习环境、benchmark 刷分与…
硅谷10135 天前
★ 3
BENCHCOMPASS：支付领域大模型评测基准
论文推出 BENCHCOMPASS，一个支付领域基准，通过类型化证据包构建场景化任务，并加入攻击变体与专家审核。评测覆盖 16 个模型变体，揭示三类失败模式：支付规则知识缺失、证据推理不完整、无法拒绝看似合理但无效的流程。基准尚未饱和，最强前沿模型在攻击输入下仅 81.7%，32B 开源模型仅 4…
arXiv cs.AI46 天前
★ 3
BudgetBench：本地 LLM 智能体记忆策略评测协议
论文提出 BudgetBench，一种以每次调用输入 token 预算为自变量的评测协议与参考工具，用于比较本地大模型智能体的记忆策略。它在 2K 至 32K 预算区间扫描，记录质量、预算利用率、延迟与预算违规率，并揭示单预算评测掩盖的合规失败与非单调质量曲线。作者开源了协议、工具与可复现产物。
arXiv cs.LG48 天前
★ 3
根因归因是搜索问题：长周期智能体失败的持续搜索
论文指出LLM自动根因归因在长执行轨迹上准确率低，因关键证据稀疏且分散，本质是大规模搜索问题。作者提出持续搜索迭代框架，多轮引导评判器持续寻找未解决的诊断证据，并发布MegaRCA-Mix大规模评测集。在MegaRCA-Mix上将GPT-5.5的F1从0.349提升至0.498，且低阶模型可超越高…
arXiv cs.AI48 天前