#SWE-bench

共 12 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

CuraLoc 提出仓库级故障定位新方法,token 用量减少 90.3%

arXiv 论文提出 CuraLoc,将仓库级代码故障定位中的「下一步检查哪段代码」改为在检索前一次性规划,模型只需选择起始符号、代码关系并形成修改假设,随后由确定性检索完成取源与排序。在 SWE-Bench Verified 上配合 GPT-5.2,Func@1 从 LocAgent 的 53.…

arXiv cs.LG7 天前
★ 3

研究指出 SWE-bench Pro 等编码基准因泄露真值提示而过度指定任务

论文分析编码基准中任务欠指定与过度指定问题,指出 SWE-bench Pro、FEA-bench、Doc2Feat-bench 和 Multi-SWE-bench 通过引入真值提示解决欠指定,反而造成过度指定与剧透,使模型绕过基准本应考察的难点。作者实验不同指定程度并提出简约提示的构造方法,将公开…

arXiv cs.AI13 天前
★ 3

BSR:软件工程智能体的行为自奖励方法

论文提出行为自奖励(BSR),一种奖励精炼方法,复用策略自身比较同一任务、同一验证结果下轨迹的可观察调试行为。BSR 将成对偏好聚合为任务局部分数并转为有界辅助奖励,在保留验证器通过/失败顺序的同时引入奖励对比。在 SWE-bench Verified 与 SWE-bench-Live 上,Qwe…

arXiv cs.AI21 天前
★ 3

研究:如何训练智能体可靠写代码

论文提出自主编码智能体的三种关键行为——位置多样性、编辑多样性与验证可靠性——可通过训练而非仅靠推理时算力获得。方法用执行反馈引导搜索并对补丁做回退树评分,在 SWE-bench Verified 上以不到一半的智能体步数解决 52.8% 的问题。加权 SFT 与强化验证器训练将 pass@1 从…

arXiv cs.AI27 天前
★ 3

VERSE:面向智能体框架的验证式自进化优化器

论文提出 VERSE,一种面向 LLM 智能体框架(harness)的验证式自进化优化器。研究发现,优化器自进化若缺乏基于执行的验证反而无益,而加入验证后效果最佳。VERSE 允许优化器在提交前测试草稿修改、回放失败案例并扰动可疑步骤,同时追踪修复与回归。在 SWE-rebench 及五种语言的分…

arXiv cs.AI28 天前
★ 3

DeReAct:分解推理与行动实现可靠智能体

论文指出 ReAct 智能体将动作提议、环境交互与完成判定耦合在单一策略中,导致错误传播与无依据的完成声明。为此提出 DeReAct,外化两个门控策略:执行前验证动作的 Critic 与重建环境支持状态并认证完成的 Context Manager。在 GAIA 与 SWE-bench Verifi…

arXiv cs.AI28 天前
★ 3

最佳智能体框架榜单收录167个项目

一份收录167个AI智能体框架与编排工具的榜单发布,按框架关注度与活跃度每周重新评分。榜单强调框架质量对智能体落地的影响,并引用SWE-bench Pro数据显示更换框架对通过率的提升可超过模型升级。

Hacker News – AI31 天前
★ 3

编码智能体成本低效行为分析与缓解

研究首次系统分析编码智能体的行为性成本低效,基于 Claude Code 与 Mini-SWE-Agent 在 SWE-bench Verified 上的 1200 条轨迹,识别出子集化检索、重复脚本生成、测试重执行三类行为。这些行为影响 79%–98% 的任务,最高占任务成本 22.75%。开发…

arXiv cs.AI35 天前
★ 2

PCE:以群体为中心的自进化智能体方法

论文指出自进化智能体研究过度聚焦少数父代个体,浪费了群体中涌现的能力与诊断证据。作者提出「无处之见」原则并实现为群体中心进化(PCE),将群体任务记录与修改历史蒸馏为群体块指导改进。在 SWE-bench Verified 达 72.1%、Polyglot 达 96.7%。

arXiv cs.AI5 天前
★ 2

GitHub 汇总 AI 编程工具与 SWE-bench 架构

GitHub 上出现一份 AI 编程工具精选合集,系统梳理了从代码补全到自主软件工程师的五级自主性分层,以及上下文摄取、模型编排、执行沙箱等架构。合集还收录了本地代码基础模型与 SWE-bench 相关研究论文,为开发者提供全景参考。

Hacker News – AI24 天前
★ 2

RippleCP:衡量编程智能体反事实检查点优势

论文提出反事实检查点优势概念,即对候选检查点而非跳过它所带来的未来恢复成本降低,并通过驱动 CP 分支与 SKIP 分支到同一逻辑失败进行测量。在 12 项 SWE-bench Verified 任务和 106 条真实恢复分支上,检查点每任务节省 49.4 秒,但收益分为相差两个数量级的两种情形。…

arXiv cs.AI25 天前
★ 2

LLM智能体轨迹早期结果预测的校准迁移审计

论文对基于轨迹的LLM智能体早期结果预测进行可靠性审计,检验预测器跨智能体迁移时校准是否失效。结果显示校准迁移误差并非普遍存在,而是集中在gpt-5-mini/SUCCESS与claude-opus-4.6/FAILURE两个特定组合上。跨基准(TerminalBench)未能复现该现象,说明误差…

arXiv cs.AI40 天前

这个主题的相关资产

相关术语SWE-bench

相关标签

SWE-bench 最新资讯与动态(12 篇) - 智讯 AI News