★ 4
#AI评估
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Contrary Research 报告：AI 基准测试正爬错山头
Contrary Research 发布报告《AI Benchmarks: Climbing the Wrong Hills》，批评当前 AI 评测基准与真实能力需求脱节。报告认为业界过度优化榜单分数，可能误导模型研发方向。
Hacker News – AI12 天前
★ 3
EvalResearchBench：AI智能体能否自主设计评估？
论文提出EvalResearchBench（ERB），用于测试AI智能体能否自主完成评估研究：在给定材料、参考、候选API与预算下，由「researcher」智能体选择或合成任务、实现评分器并迭代修订。研究对比9个researcher与13个候选模型，最佳评估器与14个目标基准的候选对排序一致率约…
arXiv cs.AI27 天前
★ 3
合规数据被误当评估：部署 AI 的测量效度
论文指出部署 AI 系统评估中的常见失败：为运营监控或合规收集的数据被当作比较评估数据使用。以自动驾驶安全评估为例，报告范围、暴露、部署域等差异限制了可支持的安全结论。作者提出评估契约，强调比较性主张需在能力、结果、暴露机会等维度对齐。
arXiv cs.LG48 天前
★ 3
PCFBench：产品碳足迹估算诊断基准
论文引入PCFBench，首个将产品碳足迹建模分解为独立可评估任务的基准，包含614个专家标记项目。评估显示，最强模型在逐步生成时性能下降，仅45-75%遵守质量守恒，凸显了AI在领域特定工作流中的不足。
arXiv cs.AI63 天前
★ 2
设计师为何应参与 AI 评估：五项理由
文章主张 AI 评估不应只由工程师和产品经理主导，设计师的品味与判断能捕捉数字指标遗漏的问题。设计师应参与定义「好答案」的标准、处理 AI 不确定时的回应方式，以及判断哪些错误用户可接受。否则可能上线技术可用但用户体验失败的产品。
快公司3 天前
★ 2
论文提出AI创造力形式化定义与度量公式
论文基于Boden的新颖性、价值、惊喜三准则，提出创造力的形式化公设与数学定义，并在国际象棋走法和毕加索、雷诺阿等画家作品评估中验证。结果显示该公式能跨棋类与艺术领域捕捉创造性模式。
arXiv cs.AI21 天前
★ 2
人机协同假设检验的成本感知AI评分
论文研究如何用大模型判断结合选择性人工核验，以最低成本完成有效的统计假设检验。作者推导出信息论下界，刻画 AI 信息与人工核验的价值，并提出 SCALE 顺序成本感知策略，结合选择性 AI 评分与自适应人工升级。SCALE 在有限样本下有效，并在目标错误概率趋零时一阶匹配下界，数值实验显示其在 A…
arXiv cs.AI38 天前
★ 2
★ 1
AI批评者是否存在市场？
一位有信息安全与政策背景的HN用户发帖询问，是否存在专门帮助企业审慎使用AI的「AI批评者」岗位。帖子反映AI落地过程中对独立评估与治理角色的潜在需求。
Hacker News – AI32 天前