★ 3
本体驱动、推理器验证的科学AI推理基准
研究者提出一条流水线，可从OWL 2本体自动生成有本体依据的多选题基准，正确答案由本体保证，干扰项经OWL推理器蕴含检查形式化验证。在Pizza、PMDco、DOID三个本体上分别生成112、2491、15216道题。六个LLM零样本准确率为41.1%-76.8%，显著高于25%随机基线，表明基准…
arXiv cs.AI31 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出一条流水线，可从OWL 2本体自动生成有本体依据的多选题基准，正确答案由本体保证，干扰项经OWL推理器蕴含检查形式化验证。在Pizza、PMDco、DOID三个本体上分别生成112、2491、15216道题。六个LLM零样本准确率为41.1%-76.8%，显著高于25%随机基线，表明基准…