arXiv cs.AIRing·2 天前★ 3

研究对比调试器与 Bash 智能体，提出 pass_X@k 指标

原文标题：Pdb or Not to Be: Comparing Debugging Interfaces With Pass$_{X}$@$k$

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文在 SWE-bench Verified 全部 500 个实例上，固定其余脚手架，仅比较「纯调试器」与「纯 Bash」编码智能体。作者提出跨智能体 pass_X@k 估计量，发现两者解出的子集差异主要来自运行间随机波动而非工具互补，两次 Bash 采样优于一次 Bash 加一次调试器。

论文速读 · 四段结构cs.SE去论文速读 →

问题: 调试器对编码智能体的独立贡献被脚手架差异掩盖，无法判断是否值得引入。
方法: 固定其余脚手架，在 SWE-bench Verified 全部 500 例上对比纯调试器与纯 Bash 智能体，并提出跨智能体 pass_X@k 估计量。
结果: 两者解出子集差异主要来自运行随机波动；两次 Bash 采样优于一次 Bash 加一次调试器。
影响: 给编码智能体加调试器工具大概率是白费工程投入，多采样更划算。

深读 · 结论先行AI 生成展开看要点与影响 ↓

SWE-bench 500例对比显示调试器与Bash智能体差异主要来自运行随机波动

为什么重要：提醒编码智能体的工具对比需控制运行方差，否则容易把随机波动误读为工具互补。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：Pdb or Not to Be: Comparing Debugging Interfaces With Pass$_{X}$@$k$

AI 中文标题：研究对比调试器与 Bash 智能体，提出 pass_X@k 指标

来源：arXiv cs.AI · 发布于 2 天前

分类：学术研究 · AI 重要度：★ 3（3）

标签：编码智能体 / SWE-bench / 评测方法 / 调试工具

关键词：编码智能体 / SWE-bench / AI 编程 / 智能体评测 / pass@k

AI 处理：2026/11/9 15:03:17 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐