★ 4
本地模型可测试人类知识:41年Jeopardy!数据
一项新研究使用单个9GB开源模型(Qwen2.5-14B)测试了41年Jeopardy!的全部529,939道题目,模型在严格协议下答对67%的题目。该模型在训练截止后的题目上保持65%的准确率,而Claude Opus 4.8达到95%。这表明知识快照已可便携且几乎免费,能力不局限于特定时刻。
arXiv cs.AI63 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
一项新研究使用单个9GB开源模型(Qwen2.5-14B)测试了41年Jeopardy!的全部529,939道题目,模型在严格协议下答对67%的题目。该模型在训练截止后的题目上保持65%的准确率,而Claude Opus 4.8达到95%。这表明知识快照已可便携且几乎免费,能力不局限于特定时刻。