★ 3
RealSWE：真实用户请求下编码智能体的组合评估
RealSWE基于真实用户请求的差异，构建了381个多变量任务族，评估编码智能体性能。结果显示真实输入使解决率平均下降6.4个百分点，并可能改变模型排名，且明确期望行为与动机能显著提升性能。
arXiv cs.AI63 天前
#组合
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
RealSWE基于真实用户请求的差异，构建了381个多变量任务族，评估编码智能体性能。结果显示真实输入使解决率平均下降6.4个百分点，并可能改变模型排名，且明确期望行为与动机能显著提升性能。