各方报道 1 篇
arXiv cs.AI·08-31 12:00★ 4
本地模型可测试人类知识:41年Jeopardy!数据
原文 一项新研究使用单个9GB开源模型(Qwen2.5-14B)测试了41年Jeopardy!的全部529,939道题目,模型在严格协议下答对67%的题目。该模型在训练截止后的题目上保持65%的准确率,而Claude Opus 4.8达到95%。这表明知识快照已可便携且几乎免费,能力不局限于特定时刻。
一项新研究使用单个9GB开源模型(Qwen2.5-14B)测试了41年Jeopardy!的全部529,939道题目,模型在严格协议下答对67%的题目。该模型在训练截止后的题目上保持65%的准确率,而Claude Opus 4.8达到95%。这表明知识快照已可便携且几乎免费,能力不局限于特定时刻。