★ 3
LogicVal 基准以逻辑约束评测文生图模型
论文将文生图评测转化为约束满足问题,提出形式化逻辑框架,在 9 类约束上评测四个先进模型。结果显示最佳模型单物体属性约束准确率 98%,复杂多物体关系约束仅 53%,多约束同时满足时从 84% 降至 20%,识别不可满足提示仅 23%。作者据此提出结合视觉检测与逻辑推理的 LogicVal 评测方…
arXiv cs.AI13 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文将文生图评测转化为约束满足问题,提出形式化逻辑框架,在 9 类约束上评测四个先进模型。结果显示最佳模型单物体属性约束准确率 98%,复杂多物体关系约束仅 53%,多约束同时满足时从 84% 降至 20%,识别不可满足提示仅 23%。作者据此提出结合视觉检测与逻辑推理的 LogicVal 评测方…
研究通过预注册实验验证限制模块可读取的信息能提升系统学习计算的能力。六十个共享冻结语言模型主干、通过连续数据包通信的系统在五种条件下测试证据遮蔽与角色标记。遮蔽使留出的两操作与三操作组合准确率中位配对差分别提升0.846和0.859,全部十二对均达标,但角色信息的作用仍未确定。