★ 2
Benchy：面向任务型 AI 基准的通用语言
论文提出 Benchy，一种用于 AI 程序评测的语义语言与执行引擎。基准被形式化为程序、评分函数与数据集的组合，与受测 AI 系统解耦；基准以规范 YAML 编写，经确定性编译为规范 JSON 中间表示后执行。该设计通过统一运行时契约隔离集成细节，避免工程实现污染基准语义。
arXiv cs.AI35 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Benchy，一种用于 AI 程序评测的语义语言与执行引擎。基准被形式化为程序、评分函数与数据集的组合，与受测 AI 系统解耦；基准以规范 YAML 编写，经确定性编译为规范 JSON 中间表示后执行。该设计通过统一运行时契约隔离集成细节，避免工程实现污染基准语义。