★ 3
Incident-Arena：智能体可靠性基准测试
研究者提出Incident-Arena，一个基于真实开源软件构建的20项任务基准，用于评估AI编码智能体在生产事故响应中的能力。任务部署于临时Kubernetes集群并注入故障，采用功能性验证器而非静态检查。前沿模型得分低于64.3%，暴露诊断、修复与安全回归等多类失败。
arXiv cs.AI31 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出Incident-Arena，一个基于真实开源软件构建的20项任务基准，用于评估AI编码智能体在生产事故响应中的能力。任务部署于临时Kubernetes集群并注入故障，采用功能性验证器而非静态检查。前沿模型得分低于64.3%，暴露诊断、修复与安全回归等多类失败。