★ 3
Upwork 开源 PAYWORTHY：测 LLM 能否预判自由职业任务可完成性
Upwork 团队提出 PAYWORTHY 基准，含 1494 条真实自由职业任务帖，测试 18 个前沿模型能否在智能体尝试前预判任务能否被完成。结果显示：若告知智能体的能力边界，各模型排序能力良好（AUC 0.66–0.86）；若只说是带浏览器和代码执行的通用智能体，排序接近随机（0.45–0.…
arXiv cs.AI6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
Upwork 团队提出 PAYWORTHY 基准，含 1494 条真实自由职业任务帖，测试 18 个前沿模型能否在智能体尝试前预判任务能否被完成。结果显示：若告知智能体的能力边界，各模型排序能力良好（AUC 0.66–0.86）；若只说是带浏览器和代码执行的通用智能体，排序接近随机（0.45–0.…