★ 3
arXiv 论文:SWE-Journey 长程多轮编码助手评测基准
论文提出 SWE-Journey 基准,通过弱到强合成管线构建长程编码任务,并基于真实交互数据挖掘四类用户画像构建用户模拟智能体。结果显示模型在软件架构师场景下通过超 75% 测试,但在非程序员场景下不足 25%,表明当前编码助手仍难以可靠服务非程序员。
arXiv NLP24 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 SWE-Journey 基准,通过弱到强合成管线构建长程编码任务,并基于真实交互数据挖掘四类用户画像构建用户模拟智能体。结果显示模型在软件架构师场景下通过超 75% 测试,但在非程序员场景下不足 25%,表明当前编码助手仍难以可靠服务非程序员。
论文研究用户在模型搜索推理过程中改变目标的「中途引导」场景,识别出智能体仍回答旧问题的「答案目标锚定」失败模式。提出 SteerSearch 强化学习框架与 SteerSearch-Bench 基准,在 Qwen2.5-3B 上将引导准确率从 11.1% 提升至 31.3%,Qwen3-4B 上从…