★ 3
DI-Bench：为企业智能体生成领域数据智能基准
本文提出DI-Bench流水线，用于自动生成企业数据智能（DI）基准，模拟需要计算与知识检索的真实任务。该流水线构建工件链接图，生成包含结构化数据和关联知识的问题，并通过查询执行获得真实答案。应用于两个公开数据集后，生成了731个任务的基准，评估显示模型在业务规则修改计算的任务上准确率仅32%，凸…
arXiv cs.AI54 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
本文提出DI-Bench流水线，用于自动生成企业数据智能（DI）基准，模拟需要计算与知识检索的真实任务。该流水线构建工件链接图，生成包含结构化数据和关联知识的问题，并通过查询执行获得真实答案。应用于两个公开数据集后，生成了731个任务的基准，评估显示模型在业务规则修改计算的任务上准确率仅32%，凸…