★ 3
ReplayRCA 基准发布：用反事实重放评估智能体故障诊断
研究者提出 ReplayRCA 基准，不再用与标注一致率评分，而是把环境回滚到出错步骤前、用诊断模型给出的动作替换原动作，以「因果修复率」衡量诊断能力。基准包含事后复盘与实时监督两条赛道，任务来自程序化生成的 OpsWorld 后台环境。13 个前沿模型中 Grok 4.7 表现最佳（+51.3 …
arXiv cs.AI14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 ReplayRCA 基准，不再用与标注一致率评分，而是把环境回滚到出错步骤前、用诊断模型给出的动作替换原动作，以「因果修复率」衡量诊断能力。基准包含事后复盘与实时监督两条赛道，任务来自程序化生成的 OpsWorld 后台环境。13 个前沿模型中 Grok 4.7 表现最佳（+51.3 …