★ 3
研究:两个工具型语言模型的无依据结论与修复
该研究探讨了具备工具访问权限的语言模型在证据不足时仍做出最终声明的问题,并定义了发生率和条件修复两个量化指标。实验表明,提供缺失证据可修复所有未经验证的声明,而无关信息则无效。研究还发现自动检查规则能有效纠正错误声明且不损害正确结果。
arXiv cs.AI63 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
该研究探讨了具备工具访问权限的语言模型在证据不足时仍做出最终声明的问题,并定义了发生率和条件修复两个量化指标。实验表明,提供缺失证据可修复所有未经验证的声明,而无关信息则无效。研究还发现自动检查规则能有效纠正错误声明且不损害正确结果。
研究者定义「共识科学声明验证」任务,构建含 718 条声明的 ProClaim-eval 数据集,覆盖分子生物学、核物理与天文学。其 ProClaim 系统将证据状态持久化在模型上下文之外,在对比中进入前三,显著优于通用智能体框架。研究还发现训练过的判断器优于固定轮次停止策略。