★ 3
EmailBench：企业邮件智能体评测基准
作者推出 EmailBench，包含 16 类任务、206 个邮件与生产力场景，结合类型化邮件 API、确定性合成语料与静态断言加 LLM 评分混合协议。评测八种模型配置，最佳配置仅通过 33.5% 场景，尽管其工具调用 99.7% 无 API 报错，说明工具执行成功不等于任务完成。
arXiv cs.AI34 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
作者推出 EmailBench，包含 16 类任务、206 个邮件与生产力场景，结合类型化邮件 API、确定性合成语料与静态断言加 LLM 评分混合协议。评测八种模型配置，最佳配置仅通过 33.5% 场景，尽管其工具调用 99.7% 无 API 报错，说明工具执行成功不等于任务完成。