★ 3
全球首个双盲AI评估试点启动
一项全球首创的双盲AI评估试点项目启动，旨在通过双盲方法减少评估偏差，更客观地衡量AI系统性能。该举措有望提升AI评测的严谨性和可信度。
Google DeepMind66 天前
#AI评测
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
Vals AI：在真实世界任务中测试AI
Vals AI平台专注于在真实世界任务中评测AI模型表现，提供贴近实际应用的基准测试。此类评测有助于弥补传统学术基准与实际部署效果之间的差距。
Hacker News – AI27 天前
★ 2
你的 AI 评测是否在衡量正确的东西
微软命令行博客发文探讨结构化 AI 评测设计，对比 assert 式断言与 Petri/Bloom 等评测方法，讨论如何确保评测真正衡量模型能力而非表面指标。属于工程实践类讨论，对构建可靠评测体系有参考价值。
Hacker News – AI27 天前
★ 2
TaxCalcBench：AI 能替你报税吗
TaxCalcBench 是一个评估 AI 处理税务计算能力的基准测试，考察模型能否完成报税等复杂财务任务。该基准聚焦 AI 在高准确度要求场景下的实际表现，属于评测类研究。
Hacker News – AI27 天前
★ 2
Real-SWE：企业私有代码库AI基准
Hacker News上出现一个名为Real-SWE的基准测试，用于在私有、真实的企业代码库上评估AI模型表现。该话题热度31分、16条评论，反映出业界对贴近生产环境的代码智能体评测需求上升。
Hacker News50 天前
★ 2
Vals.ai 基准：国际信息学奥林匹克竞赛
Vals.ai 推出了针对国际信息学奥林匹克竞赛（IOI）的 AI 基准测试，用于评估模型在竞赛级算法问题上的表现。该基准为衡量 AI 编程与推理能力提供了新维度。
Hacker News – AI50 天前
★ 1
基于本体的情境化AI评测方法
论文提出OB-CAIE方法，旨在解决AI评测测试覆盖不清、可复现性差的问题，并平衡人工专业判断与自动化。该方法用领域本体（DSO，测什么）与评测过程本体（EPO，怎么测）刻画可处理的问题空间，支持在特定节点引入科学化的人类判断。其关键优势是失败点可在规范问题空间内被追溯、可视化与分析。
arXiv cs.AI31 天前
★ 1
Submersion AI推出Basin平台
Submersion AI发布名为Basin的新产品，并公布其Cybergym排名。该平台似乎面向AI网络安全训练或评测场景，具体细节尚待披露。
Hacker News – AI38 天前