AI 事件专题★ 4

本地模型可测试人类知识:41年Jeopardy!数据

08-31 12:00 首发·1 家媒体·1 篇报道·持续 1 天·学术研究
相关方:AAnthropic
事件综述

一项新研究使用单个9GB(Qwen2.5-14B)测试了41年Jeopardy!的全部529,939道题目,模型在严格协议下答对67%的题目。该模型在训练截止后的题目上保持65%的准确率,而 Opus 4.8达到95%。这表明知识快照已可便携且几乎免费,能力不局限于特定时刻。

各方报道 1 篇

arXiv cs.AI·08-31 12:00★ 4
本地模型可测试人类知识:41年Jeopardy!数据

一项新研究使用单个9GB(Qwen2.5-14B)测试了41年Jeopardy!的全部529,939道题目,模型在严格协议下答对67%的题目。该模型在训练截止后的题目上保持65%的准确率,而 Opus 4.8达到95%。这表明知识快照已可便携且几乎免费,能力不局限于特定时刻。

原文

关联

本地模型可测试人类知识:41年Jeopardy!数据 最新进展 - 事件时间线 - 智讯 AI News