★ 3
DAREBench:面向部署的智能体评估基准
DAREBench是一个新的智能体评估基准,基于OpenClaw环境,包含233个任务,按输入模态和执行形式分为2x3工作负载矩阵。研究评估了23个商业API模型和12个本地开源模型,发现没有单一模型在所有任务组中占优,文本与多模态任务存在不同的准确率-成本权衡。该基准强调部署决策应考虑工作负载、…
arXiv cs.AI54 天前
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
DAREBench是一个新的智能体评估基准,基于OpenClaw环境,包含233个任务,按输入模态和执行形式分为2x3工作负载矩阵。研究评估了23个商业API模型和12个本地开源模型,发现没有单一模型在所有任务组中占优,文本与多模态任务存在不同的准确率-成本权衡。该基准强调部署决策应考虑工作负载、…
研究引入令牌经济评分(TES)衡量推理模型的边际收益,分析151次运行。发现任务结构比名义难度更能预测推理效率,顺序推理任务高,知识回忆任务低,且存在收益递减。建议按任务类型和部署上下文选择性启用推理。
Runtime 是一个面向 AI 智能体的托管平台,为智能体提供运行与部署的「家」。该项目在 Hacker News 上被分享,定位为智能体基础设施。
Humanbound 发布博客,介绍如何在 10 分钟内对自己的 AI 代理发起攻击测试,并在部署前完成安全加固。内容聚焦代理安全实践,属于技术教程类文章,受众较窄。