★ 3
研究绘制14767篇LLM评测论文的设计变迁
一篇arXiv论文系统梳理了2022年1月至2026年8月间14767篇LLM评测资源论文,分析评测目标、材料与打分机制的变化。研究发现评测日益强调行动、交互与专业应用,且LLM参与打分持续增长。作者提出疑问:评测扩张究竟带来更独立的证据,还是复制了参与模型的偏好与盲点。
arXiv cs.AI45 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
一篇arXiv论文系统梳理了2022年1月至2026年8月间14767篇LLM评测资源论文,分析评测目标、材料与打分机制的变化。研究发现评测日益强调行动、交互与专业应用,且LLM参与打分持续增长。作者提出疑问:评测扩张究竟带来更独立的证据,还是复制了参与模型的偏好与盲点。
微软命令行博客发文探讨结构化 AI 评测设计,对比 assert 式断言与 Petri/Bloom 等评测方法,讨论如何确保评测真正衡量模型能力而非表面指标。属于工程实践类讨论,对构建可靠评测体系有参考价值。