AI 事件专题★ 3

SERIAL-7 可验证生成基准

SERIAL-7:韩英双语可执行验证基准,十模型全合规率最高 93.9%

11-02 13:00 首发·1 家媒体·1 篇报道·持续 1 天·学术研究
事件综述

论文发布 SERIAL-7,一个韩英双语、面向七种表示形式的机器可验证生成基准,含 177 个规范工件与 43 条原子表示约束。基准将任务拆为语义推导、受约束生成与跨表示保持三段,并配可执行检查。十个模型在 REALIZE-L3 上通过率为 42.0%-93.9%,全合规检查暴露了答案正确之外的工件级失败。

各方报道 1 篇

arXiv cs.AI·11-02 13:00★ 3
SERIAL-7:韩英双语可执行验证基准,十模型全合规率最高 93.9%

论文发布 SERIAL-7,一个韩英双语、面向七种表示形式的机器可验证生成基准,含 177 个规范工件与 43 条原子表示约束。基准将任务拆为语义推导、受约束生成与跨表示保持三段,并配可执行检查。十个模型在 REALIZE-L3 上通过率为 42.0%-93.9%,全合规检查暴露了答案正确之外的工件级失败。

原文

关联

SERIAL-7 可验证生成基准 最新进展 - 事件时间线 - 智讯 AI News