★ 3
kw-bench 基准:测试智能体框架处理真实审计任务
论文发布 kw-bench,首个任务族为跨三代 SAP 系统的五年增值税重建,输入为无文档的原始系统导出数据,评分完全确定性、不用 LLM 裁判。测试中模型无关的 OpenCode 与 micro-cc 得分约 0.53,而 Claude Code 与 Codex 在非原生模型上得分为 0;在 C…
arXiv cs.AI4 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文发布 kw-bench,首个任务族为跨三代 SAP 系统的五年增值税重建,输入为无文档的原始系统导出数据,评分完全确定性、不用 LLM 裁判。测试中模型无关的 OpenCode 与 micro-cc 得分约 0.53,而 Claude Code 与 Codex 在非原生模型上得分为 0;在 C…
一篇博客文章指出,AI 可以把任务并行化,但人的注意力与认知带宽无法并行,知识工作者的瓶颈正从执行转向关注与判断。文章属于个人观点类内容。