★ 3
System1-Arena 基准发布:评估 System 1 模型可承担哪些决策
论文推出 System1-Arena 基准,含 9.2 万问题、105 项任务与 138 个闭环环境,评测 30 个模型。结果显示最大 System 1 模型在非智能体准确率上追平快速闭源 LLM,延迟仅四分之一,但闭环任务中大型开源 LLM 表现最佳。
arXiv NLP17 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文推出 System1-Arena 基准,含 9.2 万问题、105 项任务与 138 个闭环环境,评测 30 个模型。结果显示最大 System 1 模型在非智能体准确率上追平快速闭源 LLM,延迟仅四分之一,但闭环任务中大型开源 LLM 表现最佳。