★ 3
AgentEval：有状态智能体的证据边界评估系统
论文提出 AgentEval，将契约约束的评估记录贯穿工具执行、状态与事件捕获、报告资格认定与案例维护，区分智能体做了什么、证据证明了什么以及结论是否仍被支持。在 32 次工具世界执行中独立检查对全部 30 个完整回合达成一致，并暴露仅哈希校验漏掉的 36 个绑定故障。
arXiv cs.AI16 天前
#智能体评估
共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
新基准用环境验证评估开放权重电商智能体
论文构建了一个确定性可复现的电商环境，预先固定每次试验的客户与轨迹参数，通过模拟消费者与模型交互并记录每步动作与环境状态，实现基于证据的细粒度评估。该环境可双向交互，在模拟器判定客户过度沮丧时终止试验，并实时注入探索、延迟购买或回忆指令。对 8 个 20B-35B 开源智能体的 160 次试验、4…
arXiv cs.LG46 天前
★ 3
ContractEval：面向流程指令合规的查询条件化执行匹配
论文指出LLM智能体在执行流程性任务时，最终答案看似合理却可能跳过了必要的检查、分支或依赖，属于“无根据”的失败。作者提出 ContractEval 诊断框架，将流程指令表示为查询激活的义务，并与响应或轨迹证据匹配，从而区分遗漏、错误分支、顺序错误、多余动作与不变量违背等合规失败。实验显示仅看输出…
arXiv cs.AI52 天前
★ 3
DAREBench：面向部署的智能体评估基准
DAREBench是一个新的智能体评估基准，基于OpenClaw环境，包含233个任务，按输入模态和执行形式分为2x3工作负载矩阵。研究评估了23个商业API模型和12个本地开源模型，发现没有单一模型在所有任务组中占优，文本与多模态任务存在不同的准确率-成本权衡。该基准强调部署决策应考虑工作负载、…
arXiv cs.AI53 天前
★ 3
ClaimReceipt：验证智能体评估中的证据充分性与覆盖度
论文提出ClaimReceipt规范与验证器，用于智能体评估中证据充分性与覆盖度的验证。实验表明其能精确复现人工审计结果，并有效识别语义错误。该方法为智能体评估提供了可验证的证据链机制。
arXiv cs.AI59 天前
★ 3
DuMateBench：真实复杂工作流中的智能体评估
DuMateBench基于真实用户会话重建200个任务，涵盖8大场景和17个能力类别，并注入环境复杂性。实验显示现有智能体框架在严格任务完成上存在显著差距，性能受LLM和框架共同影响。
arXiv cs.AI65 天前
★ 2
arXiv 论文：反思式提示优化提升深度研究智能体，需主题隔离与多随机种子验证
该 arXiv 论文将反思式提示演化（GEPA）应用于多智能体深度研究智能体的两个系统提示，并在训练、验证、测试主题完全不重叠的划分下评估。留出引用奖励从 0.702 升至 0.781，提升 0.079，且在三个随机种子上可复现。研究发现近半获胜提示是记忆的答案键，但消融实验显示其不带来奖励；真正…
arXiv NLP20 天前
★ 2
GLIDE：异构LLM智能体的分层内在分布评估
论文针对LLM智能体缺乏轻量可靠步级评估的问题，提出GLIDE方法，从逐层残差一致性推导内在步级证据，衡量局部残差更新是否一致支持候选步引发的全局残差变化。该方法将证据对照生成智能体近期分数分布校准，转化为悲观奖励，为MCTS分支选择提供跨智能体价值信号。实验显示在多跳推理、序列决策与符号逻辑任务…
arXiv cs.AI33 天前
★ 2
NashEval：上下文相关智能体评估框架
针对 Bradley-Terry 等评分模型强加传递性偏好、无法反映异质人类判断的问题，作者借鉴社会选择理论，将评估建模为两名玩家选择智能体分布的上下文博弈，以纳什均衡支撑集定义各上下文下的胜者集合。NashEval 通过去偏收益矩阵估计与正交损失学习上下文到均衡的映射，理论证明估计误差仅以高阶项…
arXiv cs.AI33 天前
★ 2
LLM智能体轨迹早期结果预测的校准迁移审计
论文对基于轨迹的LLM智能体早期结果预测进行可靠性审计，检验预测器跨智能体迁移时校准是否失效。结果显示校准迁移误差并非普遍存在，而是集中在gpt-5-mini/SUCCESS与claude-opus-4.6/FAILURE两个特定组合上。跨基准（TerminalBench）未能复现该现象，说明误差…
arXiv cs.AI39 天前
★ 2
Atlas-Finance：银行内部AI代理评估基准
Handshake 研究团队发布 Atlas-Finance，用于在真实银行场景中评估 AI 代理的表现。该基准聚焦金融业务流程中的代理可靠性与任务完成度，为金融机构落地智能体提供可量化参考。
Hacker News – AI47 天前
★ 1
用原始-对偶证书审计 LLM 程序搜索的百慕大期权停止问题
论文审计 LLM 程序搜索智能体在百慕大期权最优停止问题上的表现，使用可信评估器提供的对偶上界与蒙特卡洛误差进行验证。对 24 次生成尝试、反馈表征消融与冻结选择后的留出集评估显示，没有生成程序能稳定超越 Ridge LSMC，且 99% 的估计差距来自对偶界松弛，说明该对偶可审计有效性但无法在搜…
arXiv cs.LG18 天前