★ 3
论文提出评估划分理论：行为评测无法证明模型能力上限
论文从「判断受感知所限」出发构建 AI 评估的划分理论，证明若被测模型的输入划分比评估者更细，它就能通过评估者可打分的全部测试。作者定义 echo test 并指出其用于检测能力隐藏时方向相反：会误判诚实弱模型，却漏掉伪装成评估者同类的模型。结论是仅凭行为评估论证模型缺乏某项能力，必须假设模型配合。
arXiv cs.AI10 天前
#AI 评估
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Terminal X 用 GPT-6.1 评估代理，与资深投资人判断一致率达 88.6%
Terminal X 推出 Eval Agent，基于 54 项标准评分，并接入 GPT-6.1 Sol。该工具在识别投资组合偏离基金授权方面比原有方法多发现 25% 的偏差，与资深投资人判断的一致率达到 88.6%，显示 LLM 在投资合规审查中的实用价值。
OpenAI12 天前
★ 3
麦肯锡面试新增与 AI 辩论环节
《华尔街日报》报道称，麦肯锡的招聘流程中加入了与 AI 进行辩论的环节，候选人需先通过这场 AI 辩论才能获得职位。这反映出咨询行业在招聘中引入 AI 评估工具的趋势。
Hacker News – AI17 天前
★ 2
一套实用的 AI 评估模式：超越公开榜单
deepsense.ai 撰文指出公开榜单得分最高的模型未必是生产环境的最佳选择，并提出一套超越公开基准的 AI 系统评估方法。强调应结合业务场景进行定制化评估。
Hacker News – AI30 天前
这个主题的相关资产
相关公司McKinsey1