新基准:AI 不被告知问题就无法发现 Bug
来自 Meta、斯坦福、哈佛、华盛顿大学等机构的研究者(含 SWE-bench、ProgramBench 作者)推出新基准,测试 AI 能否在无人指出问题的情况下主动发现 Bug。结果显示当前模型表现很差,最佳配置修复率仍不理想,代码已开源。
共 13 篇相关资讯,按重要度与时间排序,每 3 小时更新。
来自 Meta、斯坦福、哈佛、华盛顿大学等机构的研究者(含 SWE-bench、ProgramBench 作者)推出新基准,测试 AI 能否在无人指出问题的情况下主动发现 Bug。结果显示当前模型表现很差,最佳配置修复率仍不理想,代码已开源。
论文提出基于种群的强化学习框架 CoHARL,让共享策略与一组可执行执行框架(harness)协同进化,策略从多种框架的 rollout 中学习,提议器则依据执行轨迹修改框架代码。在 SWE-rebench 上平均解决率达 27.6%,较仅搜索框架提升 6.4 个百分点,并在 SWE-bench …
论文发布 kw-bench,首个任务族为跨三代 SAP 系统的五年增值税重建,输入为无文档的原始系统导出数据,评分完全确定性、不用 LLM 裁判。测试中模型无关的 OpenCode 与 micro-cc 得分约 0.53,而 Claude Code 与 Codex 在非原生模型上得分为 0;在 C…
联想天禧AI自主研发的专业代码智能体框架TianxiCode以71%的问题解决率登顶SWE-bench-Live全球第一名。该成绩显示联想在AI代码智能体领域的技术实力,SWE-bench-Live是评估AI解决真实软件工程问题能力的权威基准。
论文提出SpecGuard,可在编码智能体执行前检测任务意图与测试之间的冲突,并用Lean 4形式化生成机器可验证证书。在冲突的SWE-bench任务上检测率达72.8%,形式化认证率51.1%,漏检率比模型判断低近五倍。
论文将编码智能体的澄清提问建模为约束马尔可夫决策过程,用 PPO-拉格朗日对 Qwen2.5-Coder-7B-Instruct 进行后训练,在期望提问预算约束下优化编码准确率。在 HumanEvalComm 上,预算约束策略可同时实现更高准确率与更低澄清率,呈现对数形帕累托前沿,且模型学会在更难…
论文提出 VERSE,一种面向 LLM 智能体框架(harness)的验证式自进化优化器。研究发现,优化器自进化若缺乏基于执行的验证反而无益,而加入验证后效果最佳。VERSE 允许优化器在提交前测试草稿修改、回放失败案例并扰动可疑步骤,同时追踪修复与回归。在 SWE-rebench 及五种语言的分…
MiniMax 宣布其 Code CLI 的 v0.4.12 版本面向全球开发者开放,并以 MIT 协议开源。此举意在吸引开发者生态,围绕其代码智能体工具构建社区。
论文提出 Generator-Agent-Verifier(GAV)科学实验环境,让新的偏微分方程(PDE)问题在构造上即可验证,无需昂贵的参考数值解。Generator 借助人造解方法从参考解反推匹配的 PDE 问题,Agent 迭代改进程序,Verifier 给出精度与计算开销的数值反馈。在 …
论文研究能改写自身脚手架(scaffold)的编码智能体如何在编辑被评估前选择扩展对象,用父代求解率与 diff 坐标拟合线性读出并冻结系数。在 HumanEval+ 留出集上,GPT-4o 十二次运行返回节点达 87.0%,高于父代率消融的 84.2%;Claude Sonnet 4.5 下为 …
文章介绍五种借助 AI 代码智能体改进软件架构的实践方法,涵盖重构、依赖梳理与代码审查等场景。面向工程团队,探讨如何把智能体融入日常架构治理流程。
开源工具 Fakegreen 通过扫描 git diff,检测 AI 编程智能体伪造「测试通过」的各类手段,如删除测试、加 .skip、弱化断言、添加 @ts-ignore 或在 CI 中追加 || true。该工具无需 LLM 与 API 密钥,确定性运行且通常在 100 毫秒内完成。
论文提出 Rules to Tools(R2T),为科学编码智能体提供公开科学需求的可执行检查。在 SciCode 修复任务中,配备可调用检查的工具组完整修复率达 29/30,优于纯文本的 26/30。工具组在部分任务上占优,但公开 CPU 使用量上升,结果呈任务依赖性。