★ 3
SWE-Duel:面向编程智能体的自扩展竞技场
论文提出 SWE-Duel,一个让两个编程智能体通过镜像红蓝回合互相评测的竞技场,任务与判定标准在评测时生成,避免数据泄漏并让难度由参与智能体决定。在 11 个模型-框架组合、15 个仓库、五种语言、1500 回合的锦标赛中,GPT-5.5 配 Codex CLI 修复 98.3% 缺陷排名第一,…
arXiv NLP21 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 SWE-Duel,一个让两个编程智能体通过镜像红蓝回合互相评测的竞技场,任务与判定标准在评测时生成,避免数据泄漏并让难度由参与智能体决定。在 11 个模型-框架组合、15 个仓库、五种语言、1500 回合的锦标赛中,GPT-5.5 配 Codex CLI 修复 98.3% 缺陷排名第一,…
Hacker News上出现一个名为Real-SWE的基准测试,用于在私有、真实的企业代码库上评估AI模型表现。该话题热度31分、16条评论,反映出业界对贴近生产环境的代码智能体评测需求上升。