★ 4
Kepler：ARC-AGI-3 可审计世界模型
论文发布开源工具 Kepler，将假设表示为可执行世界模型并通过回溯转移检查与条件预测检查验证。在冻结的 Claude Opus 5 配置下，Kepler 在全部 25 个公开游戏上取得服务器验证的 100.00 RHAE，但作者同时报告源码泄漏、控制组重建工具链等三类评测失效，指出公开集分数区分…
arXiv cs.AI30 天前
#智能体评测
共 31 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
Harbor适配器与索引：大规模智能体评测基础设施
论文提出Harbor Adapters统一评测基础设施，将80多个基准适配到任意智能体，并构建Harbor-Index精选82个高难度任务。大规模评测8个模型在54个基准上的表现，最强配置GPT-5.5+Codex通过率仅28%，开源成果助力智能体可靠评测。
arXiv cs.AI55 天前
★ 3
SCI-AGENT-EXAM：11 领域 120 任务评测科研智能体
论文推出 SCI-AGENT-EXAM，一个面向科研工作流的基准，含 11 个科学领域、7 类研究任务的 120 个专家精选任务，要求同时产出可执行代码与文本报告。评测采用程序化验证加专家校准 LLM 评审的混合协议。10 个前沿智能体中 GPT-6 Astra 总分最高 80.9，但仅 26% …
arXiv NLP6 天前
★ 3
BARC-Bench 发布：良性请求暗藏风险，最强模型仍有 27.3% 任务违规
研究者推出 BARC-Bench，包含九个模拟工作区中的 110 个任务，用户请求本身良性但留有越界操作空间。评测四种前沿模型配置、每任务五次尝试，全部五次均安全完成的任务比例仅 9.1%-72.7%，最强配置仍在 27.3% 任务上出现安全违规。
arXiv cs.AI6 天前
★ 3
TauIndianBankBench：面向印度银行工具型对话智能体的流程评测基准
论文提出 TauIndianBankBench，包含 1000 个印度零售银行任务，用于评估语言模型助手是否遵循银行规定流程。现有基准只看对话结束时的记录，导致跳过必要步骤的助手仍被判成功：各模型有 6.5%–12.0% 的会话属于此类。同时评估流程与结果能更准确反映模型在印度零售银行业的真实表现。
arXiv NLP9 天前
★ 3
新基准 PLE 发布：最强智能体物理工程设计仅得 50.6%
研究者推出 PLE 基准，包含 85 个电气、土木、结构与机械工程的长周期智能体任务，要求产出可交付的真实工程设计包。在七种公开 harness 下，最强配置平均仅 50.6%，每题平均消耗 2700 万 token、63 分钟。结果显示当前智能体与自主物理工程设计仍有巨大差距。
arXiv cs.AI9 天前
★ 3
arXiv 审计智能体评测中的行为检测器标签
论文在基于 GSM8K 的工具调用场景中审计三类轨迹级检测器，发现最终正确性、可见复验与故障传播标签会系统性不一致。关键失效模式是「静默工具输出覆盖」：模型改用其他值却不重新调用工具，导致验证检测器记录不到复检。人工复核 90 条轨迹在验证标签上仅 67/81 一致，执行步数与 token 预算也…
arXiv cs.AI9 天前
★ 3
OR-License 基准：Claude Code 运筹任务可行性 88.39%
论文推出 OR-License，基于 10 个行业、总价 368 万美元的真实运筹咨询项目构建 31 个端到端任务，并配套客户模拟器 ORSim。11 个前沿大模型中部分在条件目标质量上超过专家，但无一在部署调整质量 DAQ 上追平专家；最强 Claude Code 配置严格可行性 88.39%、…
arXiv NLP12 天前
★ 3
苹果发布 RSI-Inference 评估自改进 LLM 推理智能体
苹果发布 RSI-Inference，一套用于评估「自我改进型 LLM 推理」智能体的评测方案。该工作关注模型能否在推理过程中自主迭代提升表现，并给出可比较的评估框架，为自改进推理研究提供基准。
Hacker News – LLM15 天前
★ 3
RealtimeBench 发布：评估实时环境下的 LLM 智能体
研究者提出 RealtimeBench，包含六类游戏共 180 项任务，用于在游戏持续运行、推理耗时的条件下评估 LLM 智能体。实验显示 GPT-6.1-sol 在暂停游戏时优于更快的 Jev，但游戏持续运行时反而落后。作者提出双时间尺度离线递归自我改进（TORSI），使 Jev 平均测试分从 …
arXiv cs.AI16 天前
★ 3
SWE-Duel：面向编程智能体的自扩展竞技场
论文提出 SWE-Duel，一个让两个编程智能体通过镜像红蓝回合互相评测的竞技场，任务与判定标准在评测时生成，避免数据泄漏并让难度由参与智能体决定。在 11 个模型-框架组合、15 个仓库、五种语言、1500 回合的锦标赛中，GPT-5.5 配 Codex CLI 修复 98.3% 缺陷排名第一，…
arXiv NLP20 天前
★ 3
SpireBench：用《杀戮尖塔》评测智能体长程策略
论文提出 SpireBench，让 20 个大语言模型在最高难度下完整游玩商业卡牌游戏《杀戮尖塔》，以评测长程策略推理。前沿模型击败启发式基线并追平普通玩家，但远落后专家，且随流程拉长差距扩大。研究还发现模型表现部分依赖游戏先验知识，且无法从跨局记忆中改进。
arXiv cs.AI20 天前
★ 3
ArrivalBench：智能体数据管道一次正确、时序下出错
现有智能体数据管道评测只对固定快照运行一次，ArrivalBench改为在迟到、重复、乱序、重试等可重放投递计划下重新执行管道，并要求最终状态等于完整日志的批重算结果。在40个任务上，单次执行评测认证了11个模型产出管道的86%-100%，但重放发现其中7.0%-79.2%存在静默错误。研究还发现…
arXiv cs.LG27 天前
★ 3
OEB：从智能体记录评估认知过程
论文提出 OEB 基准方法，仅读取智能体的执行记录、不依赖参考答案或结果分数，评估其假设形成、检验与修正的认知过程。OEB 将记录编译为认知事件图，检验「文字陈述」与「实际执行证据」是否一致。在三个基准的 119 次运行中，智能体声称的改进仅 16-29% 为真，且人格特质读数更多由模型而非任务决…
arXiv cs.AI27 天前
★ 3
ReLiveGym：长生命周期智能体评测环境
论文推出 ReLiveGym，一个在数周时间轴上按时间顺序回放真实新闻、市场与社交媒体流的长时任务诊断环境，考察智能体稀疏行动与动态适应能力。对八种基座模型的测试表明，何时行动是关键设计轴，且最优设计随任务与模型而异。
arXiv cs.AI30 天前
★ 3
研究：增加任务量未必能修复智能体排行榜可靠性
研究提出贝叶斯方差分解框架，分析22个智能体基准榜单的可靠性来源。发现固定模型-脚手架系统的排名可靠，但底层模型排名可靠性显著偏低；脚手架选择会改变结论，且无限增加同类任务最多只能提升0.097的可靠性。合并多样基准可在同等预算下将可靠性从0.44提升至0.75，并最多降低83%成本。
arXiv cs.AI30 天前
★ 3
EmailBench：企业邮件智能体评测基准
作者推出 EmailBench，包含 16 类任务、206 个邮件与生产力场景，结合类型化邮件 API、确定性合成语料与静态断言加 LLM 评分混合协议。评测八种模型配置，最佳配置仅通过 33.5% 场景，尽管其工具调用 99.7% 无 API 报错，说明工具执行成功不等于任务完成。
arXiv cs.AI33 天前
★ 3
训练却不学习：LLM智能体后训练交付基准
论文提出面向「后训练即服务」（PTaaS）的交付基准，把LLM智能体放在前向部署工程师（FDE）的位置上，考察其能否可信地交付微调模型。核心失效模式被命名为「训练却不学习」（TBDL）：损失下降、指标全绿，但交付模型并不优于基座。作者在受治理交付平面上让四个前沿智能体端到端跑完十个阶段，并设置验收…
arXiv cs.LG39 天前
★ 3
CHASE：反事实引导的智能体评测框架演化
研究指出自动 harness 优化可能利用基准协议捷径产生作弊式提升。为此提出 CHASE，将 harness 演化建模为保持有效性的基准反事实约束生成，并给出统计保证，在 OfficeQA 上保留基准增益同时显著降低协议变更下的增益破坏。
arXiv cs.AI45 天前
★ 3
RideWay：工具使用语言智能体的效率基准
论文提出RideWay，一个面向网约车智能体的效率中心基准，以及成功门控指标Efficiency Utility，对成功轨迹中多余的工具调用与用户交互轮次进行折扣。在58个任务与24个模型上，多余轮次的惩罚约为多余工具调用的两倍，该指标在轮次差异上准确率达90.6%，但在仅工具调用差异上仅达随机水…
arXiv cs.AI45 天前
★ 3
AgentAudit：AI智能体全生命周期信任评估框架
论文提出AgentAudit，一个开放可扩展的框架，覆盖规划、工具选择、工具执行、记忆与推理的完整流水线。它沿十个能力、基础、安全与行为维度评估执行轨迹，并结合行为分类与失败归因定位问题阶段。在九项任务上评测五款模型，Claude Sonnet 5与GPT-5综合信任分最高（95.1与80.6），…
arXiv cs.AI52 天前
★ 2
研究提出可复现评测框架，用于生产智能体的提示压缩
一篇 arXiv 论文提出面向生产对话智能体的离线可复现评测框架，可在后端数据变化后按需重新生成基准。作者将该框架作为 GEPA 提示优化的适应度函数，并加入正确性门控防止奖励作弊。在商户侧生产智能体上，正确性门控压缩使提示面缩小 3.5%-7.6% 且不损害留出任务正确率。
arXiv cs.AI6 天前
★ 2
IFC-MCQ：自动生成选择题基准评测 LLM 的 IFC 数据检索
论文提出 IFC-MCQ，可从 IFC 建筑信息文件自动生成选择题基准，实现精确的选项集评分，避免自由文本答案的高昂人工评审。分类体系覆盖 4 组 15 类 36 子类，答案键来自文件本身，干扰项由文件值或预定义规则构造。评测揭示类别特定失败模式，且性能随源 IFC 模型与检索接口变化。
arXiv NLP9 天前
★ 2
LLM 智能体对战宝可梦 Showdown 引热议
Hacker News 上出现关于让大模型智能体玩宝可梦 Showdown 对战的讨论帖，热度 15 分、10 条评论。此类实验常用于检验智能体在策略博弈与长程规划上的能力。
Hacker News11 天前
★ 2
AlphaDiana：智能体可验证推理测量系统发布
研究者提出 AlphaDiana，一个面向智能体在可验证推理任务中的测量系统，提供数据集、智能体、环境与评分器的模块化接口。实验覆盖三个开源模型与三个开源 harness、五个答案型基准，发现 harness 并不稳定提升推理准确率，技能引导与历史记忆也未必有效。该系统将答案正确性与执行状态关联到…
arXiv cs.AI16 天前
★ 2
SmartSalesBench 发布：首个抗拒绝多轮销售智能体评测基准
论文提出 SmartSalesBench，首个针对 LLM 销售智能体的多轮对话基准，让智能体面对心理上具抵抗性的买家角色，对话最长20轮。基准含5种智能体画像、12种买家角色、15款手机与13680场会话，用 RAG 支撑生成，并设九项三层评估指标，结合 LLM 评判与人工评估。
arXiv cs.AI20 天前
★ 2
社会语言学方法提升用户模拟人设保真度
论文提出以社会语言学视角定义用户人设——把人格视为由可观测语言风格涌现的社会类型，而非需模型外推的标签描述。作者将人设写成具体风格比率，并借用作者身份验证文体计量与词典内容分析两种无模型工具作为保真度诊断，在五类客服智能体上 A/B 测试显示该方案提升了多数模型的风格遵循度与文体可区分性。
arXiv NLP23 天前
★ 2
AppWorld 与 WorkArena 任务验证器盲点审计
论文用基于源码的变异测试审计 AppWorld 与 WorkArena 已发布的任务验证器。在 AppWorld 中，重复非幂等写入可产生额外记录却仍被接受（6/15 构造效果）；在 WorkArena 中，23 个额外字段候选全部通过验证，其中 21 个经独立读回确认为错误效果。研究还报告了零通…
arXiv cs.AI24 天前
★ 2
智能体认知深度：LLM智能体评估的操作化标准
论文将智能体LLM系统视为「LLM循环 + 规划、记忆、工具、控制流」，提出「智能体认知深度」概念，即跨五项操作标准的轨迹级画像：上下文敏感性、时间连续性、多模态协调、自适应交互与元认知监控。作者为每项标准给出操作代理指标与扰动流程，并连接到智能体的世界模型，为GAIA、SWE-bench、Web…
arXiv cs.AI26 天前
★ 2
EEGAgentBench：评估大模型智能体的脑电分析基准
研究者提出 EEGAgentBench，统一评估 LLM 智能体在短时与长时脑电（EEG）分析上的能力，覆盖从知识问答到睡眠分期的六类任务，信号时长从 2 秒到近 23 小时。基准提供 10 个确定性 EEG 分析工具，要求智能体自主选工具、迭代积累证据并构建多步工作流。对 15 个模型家族共 2…
arXiv cs.LG33 天前