★ 4
RSI Arena：十款前沿模型自主训练语言模型并接受人类反馈
论文提出 RSI Arena，让十个前沿模型作为训练智能体，从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发，在 1000 GPU 小时预算内自主选数据、实现训练流程并挑选检查点。最强模型由 GPT-6 Astra 训练，在 12 项能力基准上弥合了基…
arXiv NLP5 天前
#基准评测
共 103 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
MindEth-Bench：评估中文语境 LLM 心理支持伦理边界
论文指出已有基准多关注 LLM 心理支持能力而非伦理边界遵循，提出 MindEth-Bench，基于中国心理健康服务专业伦理标准，用蒙特卡洛树搜索系统探索施压式多轮交互轨迹。对九个 LLM 的测试显示，初始回应得当的模型在长对话中可能逐步越界，且模型间与伦理维度间差异显著，说明单轮评测会高估其伦理…
arXiv NLP2 天前
★ 3
arXiv 发布 3DCodeEdit 基准评测指令引导的 3D 程序编辑
论文提出 3DCodeEdit 基准，包含 108 个 Blender 程序上的 2592 个指令引导编辑任务，覆盖参数、结构、风格与场景组合改动。17 个模型平均成功率仅 37%，最强模型结构类与风格类编辑完成率不足 60%，失败集中在「几何预见」能力。研究表明独立评审模型的多轮反馈最有效，可让…
arXiv NLP2 天前
★ 3
新基准 Investor's Last Exam 评测 AI 智能体选股能力
研究者推出股票研究基准 Investor's Last Exam（ILE），由买方投资经理主导设计，包含 343 万份文档版本的时间冻结数据库、面向分析师交付物的任务分类及专家评分框架。GPT-6 Astra 与 Claude Opus 5.5 以 68.1 和 66.9 分领先，但 Astra …
arXiv cs.AI2 天前
★ 3
研究质疑 LLM 在 CLadder 上的因果推理能力
论文重新审视 LLM 在因果推理基准 CLadder 上的高分表现，发现其生成器在数据中嵌入了高度可预测的浅层模式。随机森林等简单模型训练后同样表现良好，且商业 LLM 在删除关键推理文本后性能几乎不变。作者认为高分更可能源于利用浅层模式，而非真正的形式因果推理。
arXiv cs.AI2 天前
★ 3
SciGame 基准发布：评测 LLM 智能体科学定律发现能力
研究者提出 SciGame 受控基准，把科学文献转成结构化科学卡片，每张卡片生成原始与反事实两套同接口环境，并区分历史经典定律与模型知识截止后新论文。在五个前沿模型上实验发现：熟悉的先验在规律被改动后反而有害，自适应实验只对最强模型有帮助，且解释合理可能掩盖定量失败。
arXiv cs.AI2 天前
★ 3
OpenFrontiers 发布 12151 个开放科研问题与数学再发现基准
研究者推出跨学科资源 OpenFrontiers，收录 12,151 个开放研究问题的结构化语料，并构建 200 道数学题的回顾性基准（110 道 2026 年已解决、90 道仍开放），每题配 Lean 4 形式化陈述。在 HQ-50 子集上评测七个 LLM 智能体，闭卷再发现最多仅解出 40 题…
arXiv cs.AI2 天前
★ 3
开源医疗模型 MedJev 发布评测：零样本诊断接近 GPT-4
arXiv 论文提出并评测开源 System One 模型 MedJev，可在笔记本本地运行，单次前向推理直接输出结构化答案。在 MedQA、USMLE、NEJM 等十项医疗基准上分别取得 72.5%、75.4%、80.1% 准确率，接近已发表的 GPT-4 水平，且置信度校准良好。院内死亡预测 …
arXiv NLP4 天前
★ 3
InfraDev：评测编程智能体开发 AI 基础设施的能力
论文提出 InfraDev 基准，包含 36 个源自 Megatron-LM、vLLM 与 verl 真实 PR 的任务，覆盖训练、推理与强化学习基础设施开发，需跨多文件、多 GPU 正确运行。六个前沿模型最高仅解决 38.9% 的任务，隐藏探针拒绝了 32% 通过官方测试的提交，用原始 PR 描…
arXiv cs.AI4 天前
★ 3
研究：智能体记忆检索到旧事实反而更易答错
论文在 MemoryAgentBench 的 FactConsolidation 任务上发现，检索到正确事实并不够：Qwen2.5-7B 在证据预算从 64 增至 512 token 时准确率由 45% 降至 32%。将一条无关证据替换为过时竞争陈述后，Qwen2.5 准确率从 100% 跌至 4…
arXiv cs.AI4 天前
★ 3
论文：RAG 知识冲突不应靠固定规则，需引入先验
论文指出检索增强模型在上下文与自身知识冲突时，现有方法都用设计时固定的规则裁决，而任何固定规则在某些部署下都会自信地出错。作者提出需同时保留两路来源证据与「上下文正确率」先验，并在 GRACE 基准上构建对应系统。在 Qwen3.5-35B-A3B 与 Llama-3.1-8B 上总分 45.3 …
arXiv cs.AI4 天前
★ 3
研究系统评测 LLM 机器翻译评估器并推出 ORBIT
论文系统研究指令设计、少样本示例、基座模型选择与多步流程如何影响机器翻译评估，并在 WMT24/25 英俄翻译上收集专家 RATE 标注。四项稳健发现包括：指令结构影响评估器行为、高质量示例比数量更重要、不同基座呈现不同评估倾向、融合多基座输出优于单模型多次调用。作者据此推出 ORBIT 评估器家…
arXiv NLP5 天前
★ 3
论文发现长程智能体基准对上下文压缩高度友好
研究在 OpenCode 框架内实现五种上下文压缩策略，用三个前沿模型在三个长程基准上评测。结果显示 1M 上下文模型性能几乎不受压缩阈值影响，且没有压缩方法优于默认自摘要；但压缩会静默丢失任务约束，ProgramBench 首次摘要即平均丢弃约三分之一反作弊规则。
arXiv cs.LG6 天前
★ 3
SWE-Shift 基准发布：评估执行中途变更下的编码智能体
研究者提出 SWE-Shift 基准，模拟代码、依赖与需求在智能体执行过程中发生变化的情形，包含 120 个场景、12 类变更与 9 个干预位置。评测 17 个编码智能体系统，全部在变更场景下成功率低于无变更场景，GPT-6 Astra 从 67.35% 降至 24.79%。结果表明任务成功并不等…
arXiv cs.AI6 天前
★ 3
研究揭示编码智能体基准的「规范-测试」鸿沟
论文指出编码智能体基准常用自然语言描述任务、却用上游项目测试评分，通过测试需要描述中未给出的常量名、模块路径等信息，称为规范-测试鸿沟。作者构建五语言静态审计工具（精确率 89.2%、召回 92.9%），在 SWE-Milestone 上发现 98 个里程碑中 25 个存在此类依赖，含依赖单元失败…
arXiv NLP9 天前
★ 3
arXiv 论文：朴素 RAG 在智能体记忆基准上反超复杂方案
一篇 arXiv 论文提出 Raw-RAG 基线，仅用稠密检索与重排从原始对话历史中取证据，在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 四个基准的 7 个模型设置中有 6 个排名第一，比最强智能体记忆系统高 0.13-5.53 分。分析显示原始历史检索对必…
arXiv cs.AI9 天前
★ 3
ChronoEvo 研究：LLM 识别医学指南更新达 90.8%，但仅 58.5% 真正采纳
研究者构建 ChronoEvo，覆盖 12 类医学知识变更、1709 条推荐级修订，区分「识别修订」与「纳入临床建议」。主模型中 90.8% 回答识别了修订、80.2% 临床正确，但仅 58.5% 完全采纳，形成 32.3 个百分点的落差，并在 14 个模型上复现。推荐强度与患者资格变更最易导致沿…
arXiv cs.AI9 天前
★ 3
PrefDiag-Bench 发布：GUI 智能体个性化任务最高仅 47.17%
研究者推出 PrefDiag-Bench，把用户偏好分为五类并用 1664 个探针做分阶段诊断，考察 GUI 智能体「如何」与「何时」应用偏好。评测 11 个 GUI 智能体系统，最佳模型 Seed-2.0-Pro 在显式用户画像下的流程类偏好仅 47.17%。瓶颈在于从用户历史中选取相关证据与判…
arXiv cs.AI9 天前
★ 3
研究：前沿模型自建 ARC-AGI-3 智能体框架，两次修订仅提升 2.8 分
论文让前沿模型自行构建并两次改写任务 harness，在 ARC-AGI-3 的 20 个留出游戏上评估。27 条谱系中性能从零到接近满分，但两次修订平均仅提升 2.80 点 RHAE，开发集增益明显高估留出表现。结果表明自主构建 harness 与可靠自适应之间仍有明显差距。
arXiv cs.AI9 天前
★ 3
Qwen 团队发布 Omnilingual-MsASR 多语种多人长视频语音识别基准
研究团队推出 Omnilingual-MsASR，一个覆盖六种语言、最长 30 分钟录音、最多 20 位说话人的多模态多语种长视频多人语音识别基准，同时提供音频与视频输入以评测跨模态一致性。对主流全模态大模型的评测显示其 tcpWER 常超过 100%，暴露出细粒度时间定位与说话人区分等瓶颈。
arXiv NLP10 天前
★ 3
DynaWeave 框架发布：合成动态场景训练 LLM 智能体
研究者提出 DynaWeave，一个自动合成框架，可将静态任务转化为可验证的动态场景，通过有向无环图表示外部事件依赖并在智能体交互中触发。团队用该框架在 36 个环境中收集 2095 条交互轨迹，对 Qwen3.5 模型做监督微调，在 Gaia2、CostBench、ToolMaze 上均取得提升…
arXiv NLP10 天前
★ 3
研究质疑 GraphLLM 节点分类增益：简单基线仅差 2.3 个百分点
该 arXiv 论文复现三项近期研究的分割设置，用仅依赖验证集调参的 Correct & Smooth 与 MLP 基线对比 GraphLLM 报告的最佳结果，中位差距仅 2.3 与 2.8 个百分点。作者同时指出测试集调参、测试池节点标签泄漏、基线数字未披露复用、Cora 加载器文本标签错位等评…
arXiv cs.LG10 天前
★ 3
arXiv 审计 UB-GOLD 图异常检测基准，发现测试标签泄漏
研究审计 UB-GOLD 与 14 个图级异常检测代码库，发现 UB-GOLD 共享训练循环用测试标签选检查点，14 个代码库中有 8 个存在同类问题。按测试 AUROC 选检查点平均虚增 5.12 个 AUROC 点，作者建议主结果应采用无测试标签的选择方式并公开逐次运行输出。
arXiv cs.LG12 天前
★ 3
MAI-Gym：跨移动与电脑的 GUI 智能体开源评测训练平台
论文发布 MAI-Gym，一个统一 GUI 智能体评测、数据采集与在线 RL 训练的开源平台，覆盖移动、电脑与网页环境，支持十个基准与两万并行环境实例。基于该平台训练的 MAI-Gym-9B 在 10B 参数以下开源 GUI 智能体中取得最优成绩，MobileWorld 78.4%、OSWorld…
arXiv cs.AI16 天前
★ 3
PersEvalBench：LLM 评测者能否判断人设使用是否恰当
研究者提出 PersEvalBench，测试 LLM 评测者能否识别用户历史信息使用是否恰当，包含 403 个多轮场景与九类受控错误。结果显示五款 LLM 评测者识别能力有限，欠个性化错误上人类识别率 94.4%，最强评测者仅 63.9%，且常将错误方向弄反。
arXiv NLP17 天前
★ 3
研究：以用户为中心审计基准评测资源
论文提出以用户为中心的审计框架，区分贡献基准内容的用户与评测结果所代表的目标用户。对 16 个资源的审计发现，11 个文本基准中美国中心惯例占匹配信号的 62.4%-94.4%，图像文本资源的地理可见度与 GDP 份额强相关，且所有资源均未操作化目标用户语境。
arXiv NLP17 天前
★ 3
新基准评测 LLM 客服智能体：GPT-5.4 领先，Qwen3.5-9B 最强开源
论文构建基于真实客服对话的技能型 LLM 工作流基准，用 MCP 兼容模拟环境生成多轮工具调用对话，对 17 个模型做零样本评测。结果显示 GPT-5.4 大幅领先，Qwen3.5-9B 是 200 亿参数以下最强开源模型；同时指出评审模型选择对结论影响显著，10 组评审两两一致率 Kappa 平…
arXiv NLP18 天前
★ 3
研究：小模型智能体难以高效利用时间预算
论文研究小型 LLM 智能体在明确墙钟时间预算下的表现，在 MLE-Bench Lite 与 Zork I 上评估 Qwen3.6-27B 与 Qwen3-4B。结果显示智能体难以将预算转化为受控用时，通过 harness 注入计时信息可显著改善预算遵守，GRPO 强化学习在 Zork I 上接近…
arXiv cs.AI23 天前
★ 3
FEAgent：基于程序图的差分代理执行判定代码等价
论文提出 FEAgent，一种选择性代码等价性评估智能体，结合类型化程序图证据与差分代理执行来判断两段程序是否功能等价。它通过分支感知生成器构造区分性输入，由两个盲测 LLM 代理分别预测源与目标程序的可观测行为，并记录证据账本，最终输出等价、不等价或不确定。在 EquiBench 上，直接执行证…
arXiv cs.AI26 天前
★ 3
LMBuild：评估LLM智能体生成可建造功能性结构
研究者提出 LMBuild 基准，用于评估 LLM 智能体生成可建造且具备功能性的三维结构的能力。该基准将生成对象表示为含部件分解、关节、材料与装配序列的组装结构，并提供交互环境、基于 CAD 数据集与维基百科知识构建的测试集，以及涵盖结构稳固性、功能可供性、设计质量与物理可实现性的评估框架。对 …
arXiv cs.AI26 天前