arXiv cs.AI·2 小时前★ 4

ExpertCrowd-SWE 基准：Claude Opus 5.5 与 GPT-6 Astra 领先编程智能体评测

原文标题：ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases

重要度 4/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

新基准 EC-SWE 收录 100 个专家撰写的多文件工程任务，覆盖 87 个开源项目、11 种语言，用于评测自主编程智能体在陌生大型代码库中的表现。Claude Opus 5.5 以 67.3% 与 GPT-6 Astra 的 63.7% 并列领先，Claude Fable 5.1、Gemini 3.8 Flash 紧随其后。研究公开 24 个任务，保留 76 个以防数据污染。

论文速读 · 四段结构cs.SE去论文速读 →

问题: 缺少能评测编程智能体在陌生大型代码库中完成多文件工程任务的基准。
方法: 收录100个专家撰写、基于真实仓库固定提交的变更请求，配密封参考解与可执行加权评分器，并设必须通过的阻断项。
结果: Claude Opus 5.5 达 67.3%、GPT-6 Astra 63.7% 领先，Claude Fable 5.1 为 46.5%，Gemini 3.8 Flash 为 40.0%。
影响: 选型编程智能体时可直接参考该榜单，但需注意 76 个任务未公开以防污染。

所属主题Claude15 AI编程8 GPT-64

#学术研究 #编程智能体 #基准评测 #AI编程 #Claude #GPT-6

阅读原文 +0

AI 处理过程展开/收起

原始标题：ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases

AI 中文标题：ExpertCrowd-SWE 基准：Claude Opus 5.5 与 GPT-6 Astra 领先编程智能体评测

来源：arXiv cs.AI · 发布于 2 小时前

分类：学术研究 · AI 重要度：★ 4（4）

标签：编程智能体 / 基准评测 / AI编程 / Claude / GPT-6

关键词：编程智能体评测 / Claude Opus 5.5 / GPT-6 Astra / SWE 基准

AI 处理：2026/11/11 15:02:43 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。