★ 3
FaithSieve:细粒度数学证明评估框架
FaithSieve利用Lean辅助验证自然语言数学证明,通过分解证明步骤和语义对齐评分,实现精确的错误定位。在奥林匹克和大学级数据集上,其准确率显著优于直接判断基线,展示了形式化证据在评估中的价值。
arXiv cs.AI66 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
FaithSieve利用Lean辅助验证自然语言数学证明,通过分解证明步骤和语义对齐评分,实现精确的错误定位。在奥林匹克和大学级数据集上,其准确率显著优于直接判断基线,展示了形式化证据在评估中的价值。
研究者提出 Loci(Localization Of Corrupted Inferences)框架,通过概率化定位多轮对话中被错误排除的用户意图,并选择性保留、验证或删除相关状态更新。在注入错误与自由对话测试中,Loci 将平均恢复成本较最强基线降低 46%-79%。