★ 3
Kolab：长周期工作流人机协作基准发布
论文推出 Kolab 数据集，包含 40 种职业 50 位专业人士与智能体协作的 115 小时以上屏幕录制，用于评测长周期任务中的人机协作。研究发现前沿模型普遍高估与专家的协作质量，且难以区分高质量与低质量协作，更长的流程上下文并未稳定改善预测。
arXiv cs.AI17 天前
#智能体基准
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Mine Odyssey：真实世界空间智能体基准测试
论文推出 Mine Odyssey 基准，用 Minecraft 重建真实世界地点，包含覆盖五大洲 20 个国家与地区的 30 个地点、180 项任务，评估智能体的空间探索与导航能力。评测中 GPT-6 Astra 以 85.6% 成功率居首，Claude Opus 5.5 达 73.9%，最强开…
arXiv cs.AI24 天前
★ 3
StoreBench：评估与训练自主运营智能体的实时电商环境
论文推出 StoreBench，一个让智能体在真实级电商后端运营中型服装网店的实时商业环境，测试长程规划与不确定性下的经济判断。在 11 个场景中，最佳模型 DeepSeek-V4-Pro 通过 49% 任务种子单元，低于脚本启发式策略的 97%，人类专家得分高于所有模型；GRPO 后训练使 Qw…
arXiv cs.AI24 天前