★ 2
当代理实现系统:缺陷、检测与评估严谨性案例研究
案例研究考察LLM编码代理实现多组件数据系统时的行为,记录五个缺陷。在HotpotQA上评估检索过滤策略,过滤检索在预算3时达到上限,未过滤搜索在预算10时仅恢复69%证据。代理自主性在实现和修复中成功,但一处声称的性能修复未在回归上重新测量。
arXiv cs.AI60 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
案例研究考察LLM编码代理实现多组件数据系统时的行为,记录五个缺陷。在HotpotQA上评估检索过滤策略,过滤检索在预算3时达到上限,未过滤搜索在预算10时仅恢复69%证据。代理自主性在实现和修复中成功,但一处声称的性能修复未在回归上重新测量。