★ 3
Eon企业基准:带精确真值的LLM智能体评测
论文提出Era by Eon Benchmark,用于评测使用企业工具的LLM智能体,围绕一家完整虚构公司构建。基准包含产品模拟器、公司内部数据库、问题与计算答案键,由种子实体图统一供给Salesforce、Zendesk、Slack等模拟器数据。在23家生成公司上平均真实感得分从61.8升至97…
arXiv cs.AI53 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出Era by Eon Benchmark,用于评测使用企业工具的LLM智能体,围绕一家完整虚构公司构建。基准包含产品模拟器、公司内部数据库、问题与计算答案键,由种子实体图统一供给Salesforce、Zendesk、Slack等模拟器数据。在23家生成公司上平均真实感得分从61.8升至97…