★ 3
SERIAL-7:韩英双语可执行验证基准,十模型全合规率最高 93.9%
论文发布 SERIAL-7,一个韩英双语、面向七种表示形式的机器可验证生成基准,含 177 个规范工件与 43 条原子表示约束。基准将任务拆为语义推导、受约束生成与跨表示保持三段,并配可执行检查。十个模型在 REALIZE-L3 上通过率为 42.0%-93.9%,全合规检查暴露了答案正确之外的工…
arXiv cs.AI4 小时前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文发布 SERIAL-7,一个韩英双语、面向七种表示形式的机器可验证生成基准,含 177 个规范工件与 43 条原子表示约束。基准将任务拆为语义推导、受约束生成与跨表示保持三段,并配可执行检查。十个模型在 REALIZE-L3 上通过率为 42.0%-93.9%,全合规检查暴露了答案正确之外的工…
论文指出结构化生成被建模为输入到单一输出的确定性映射,与自然语言的多义性不符,单参考监督会压制其他合法解释。作者将其重构为歧义感知推理问题,采用多有效学习框架,把候选输出表示为实体关系图并做图推理选择,在结构化生成基准上提升准确率、稳定性与鲁棒性。