技术
SWE-bench
SWE-bench是一个评估大语言模型解决真实GitHub软件工程问题能力的基准测试。
详细解释
SWE-bench由普林斯顿大学等机构提出，包含从GitHub收集的2294个真实issue和对应的代码库。模型需生成补丁以通过单元测试。它测试模型理解代码、定位bug和编写修复的能力，推动了代码生成和程序修复研究。
别名与相关写法
swe bench
SWE-bench是一个评估大语言模型解决真实GitHub软件工程问题能力的基准测试。
SWE-bench由普林斯顿大学等机构提出，包含从GitHub收集的2294个真实issue和对应的代码库。模型需生成补丁以通过单元测试。它测试模型理解代码、定位bug和编写修复的能力，推动了代码生成和程序修复研究。