arXiv cs.AI·13 小时前★ 3

arXiv：RAGLog 无需参考答案定位 RAG 流水线故障

原文标题：From Logs to Faults: Reference-Free Fault Localization for Retrieval-Augmented Generation Pipelines

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出开源工具 RAGLog，利用执行日志在 RAG 各阶段检测并定位故障，无需参考答案或代码插桩，融合规则、嵌入与 LLM 检查。配合新数据集 RAGLog Faults（5 条流水线 3134 次运行），使用 Claude Haiku 5.5 时自然故障 F1 达 0.73，优于 Claude Code 的 0.58 与 Codex 的 0.52，单次分析约 5 秒、成本 0.005 美元。

论文速读 · 四段结构cs.CL去论文速读 →

问题: RAG 流水线故障定位依赖人工、参考答案或代码插桩。
方法: 把异构 API 日志统一为 RAG schema，融合规则、嵌入与 LLM 检查定位故障阶段。
结果: 自然故障 F1 达 0.73，优于 Claude Code 的 0.58 与 Codex 的 0.52，单次约 5 秒、0.005 美元。
影响: RAG 调试可低成本自动化，适合直接接入监控与评测流水线。

深读 · 结论先行AI 生成展开看要点与影响 ↓

RAGLog用执行日志定位RAG故障，自然故障F1达0.73，单次分析约5秒、成本0.005美元

•无需参考答案或代码插桩，把异构API日志转为统一RAG schema，融合规则、嵌入与LLM检查
•新数据集RAGLog Faults含5条流水线3134次运行，带阶段级故障标签
•Claude Haiku 5.5下自然故障F1为0.73，优于Claude Code的0.58与Codex的0.52
•注入故障场景F1为0.84，对比0.80与0.82；单次分析约5秒、0.005美元，成本与延迟低于智能体基线

为什么重要：RAG故障会跨阶段传播并掩盖源头，甚至答案正确时仍未被发现；这个开源工具给运维与评测团队一个低成本、无需标注的定位手段。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

所属主题开源17

#学术研究 #RAG #故障定位 #可观测性 #开源 #arXiv

阅读原文 +0

AI 处理过程展开/收起

原始标题：From Logs to Faults: Reference-Free Fault Localization for Retrieval-Augmented Generation Pipelines

AI 中文标题：arXiv：RAGLog 无需参考答案定位 RAG 流水线故障

来源：arXiv cs.AI · 发布于 13 小时前

分类：学术研究 · AI 重要度：★ 3（3）

标签：RAG / 故障定位 / 可观测性 / 开源 / arXiv

关键词：RAG 故障定位 / 检索增强生成 / RAG 调试 / 开源工具 / arXiv 论文

AI 处理：2026/11/4 15:03:12 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

每天 09:30，3 条 AI 圈真正重要的变化，免费订阅 →

arXiv：RAGLog 无需参考答案定位 RAG 流水线故障

相关推荐

OpenAI 宣布数学、计算机科学、物理学三项新发现

数学家称需数年消化 OpenAI 最新数学成果

OpenAI 公布数学难题突破成果

OpenAI 再抛数学突破成果引争议