研究揭示编码智能体基准的「规范-测试」鸿沟

论文指出编码智能体基准常用自然语言描述任务、却用上游项目测试评分，通过测试需要描述中未给出的常量名、模块路径等信息，称为规范-测试鸿沟。作者构建五语言静态审计工具（精确率 89.2%、召回 92.9%），在 SWE-Milestone 上发现 98 个里程碑中 25 个存在此类依赖，含依赖单元失败率 80.6%，远高于对照的 48.4%。