★ 3
ADE 框架:智能体自主设计 LLM 数据工程策略
论文提出 Agentic Data Engineering(ADE)框架,让智能体利用实验反馈迭代改进数据选择、奖励设计与课程学习策略。在数学与代码数据选择等四项任务上,所选策略在 AIME25 Pass@32 上较通用基线最高提升 13.34%,四项留出基准平均提升 5.85%。研究还发现循环内…
arXiv NLP19 天前
共 6 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 Agentic Data Engineering(ADE)框架,让智能体利用实验反馈迭代改进数据选择、奖励设计与课程学习策略。在数学与代码数据选择等四项任务上,所选策略在 AIME25 Pass@32 上较通用基线最高提升 13.34%,四项留出基准平均提升 5.85%。研究还发现循环内…
研究将预训练数据选择视为对可执行选择算法的智能体搜索,提出AutoData,在评分、分层与随机选择规则构成的程序空间中迭代优化。仅用小型代理模型搜索一夜,即发现优于人工设计数据筛选流程的算法,并能迁移到更大规模、提升下游CORE指标。该工作把数据工程纳入智能体自动机器学习范畴。
O'Reilly 出版新书《Data Engineering for Multimodal AI》,系统讲解为多模态模型构建数据管线的工程方法。内容覆盖数据采集、清洗、存储与训练数据治理,面向工程实践者。
开源工具 schema-guard 通过在仓库中保存真实表结构快照,在 AI 代理生成的 SQL 执行前进行校验,拦截不存在的列名并给出修正建议。它解决了编码代理依据过时 README 或命名习惯臆造列名、导致 CI 或生产环境报错的问题。工具支持 dbt、DuckDB、BigQuery、Snow…
文章提出自主数据工程的五阶段成熟度模型,探讨智能体如何从人工辅助逐步走向完全自主的数据处理与工程能力。内容属于技术趋势分析,原文仅提供跳转链接,细节有限。
一篇博客文章探讨AI领域是否正在重复造轮子,重新发明数据工程已有的工具与范式。作者反思AI数据管道与经典数据工程实践的异同,引发对工具复用与工程效率的讨论。