★ 3
研究揭示不确定性衡量 RAG 幻觉风险的条件性
论文在 HotpotQA 与 SQuAD 上测试四个指令微调模型，发现不确定性只有在检索证据能约束答案时才能有效衡量 RAG 幻觉风险。困惑度在针对性无支撑编辑上达到 0.81-0.91 AUROC，检索深度变化会改变该分数的含义，结合语义漂移可改善校准。
arXiv NLP14 天前
#不确定性估计
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
开发者发布 NullPrime 基准，测试 AI 模型能否识别「自己不知道」
开发者 bmiedlar 开源 NullPrime，用一组剔除小素数整除特征的整数素数判定任务，作为不确定性估计、弃答与选择性预测的负对照基准。实验显示标准学习器能完美记忆训练集但在新样本上仅达随机水平，说明模型无法从表示中推断答案，也无法可靠地表达「不知道」。
Hacker News – AI1 天前
★ 2
研究者提出基于扰动的 LLM 输入歧义检测框架
一篇 arXiv 论文提出「先检测歧义、再消歧」的思路，用保持标签的扰动框架识别 LLM 输入中的歧义。方法包含黑盒规则扰动库与白盒重要性引导两种检测器，在开放域、对话与视觉问答四组数据集上优于输出侧不确定性基线和 LLM 改写扰动基线。研究强调输入歧义是不确定性的上游来源，应先判断是否该直接作答。
arXiv NLP5 天前
★ 2
研究提出不确定性感知救护车行程时间估计方法
针对急救调度中行程时间仅给单点预测的问题，论文提出不确定性感知方法，生成上下文自适应预测区间。基于瑞典 Skåne 地区两年救护车行程数据验证，预测区间在关键运营场景下覆盖稳定，可支持风险敏感的调度决策。
arXiv cs.LG7 天前
★ 2
共形认证实现自适应稀疏计算加速
arXiv 论文提出带风险保证的共形自适应方法，面向医学与天文等超大规模科学成像数据。方法用分层模型在低分辨率预测，通过共形风险控制认证信号，再细化认证预测，在 3D 医学分割、2D 星系通量预测等任务上实现 2.5 至 72 倍加速，包括在普通 CPU 上运行。
arXiv cs.LG18 天前
★ 2
SCUR：LLM 评审的实例级可靠性评估
论文指出 LLM-as-a-judge 的多数投票聚合无法保证单条样本评估可靠，提出 Structured Cross-fitted Uncertainty Risk（SCUR），基于评审团行为无标签估计实例级可靠性。SCUR 融合评审团不确定性、测量交叉熵与扰动敏感性三类信号，在五个真实基准上更…
arXiv cs.LG19 天前
★ 2
RL-ARC：推理引导不确定性校准大推理模型
论文指出可验证奖励强化学习（RLVR）会导致模型校准退化与过度自信，提出 RL-ARC 校准感知训练框架，联合利用推理置信度与答案置信度，对正确样本做正则、对错误样本做过度自信惩罚。实验显示其在分布内与分布外场景均改善校准，且不明显牺牲推理性能。
arXiv cs.AI24 天前
★ 2
SAUCE：并行多智能体推理系统的序列概率不确定性估计
论文聚焦并行多智能体推理系统，提出 SAUCE，一种轻量、免训练的不确定性估计器，将多智能体系统不确定性建模为对潜在系统级信念的序列推断。SAUCE 通过滤波式更新聚合轮级一致性与生成不确定性信号。在五种基座模型、五个基准和两种多智能体协议上，SAUCE 在误分类检测、选择性预测和校准方面优于多种…
arXiv cs.AI25 天前
★ 2
AURA：不确定性路由的邮件威胁检测
针对攻击者利用大模型生成高迷惑性钓鱼邮件的问题，论文提出多模态邮件威胁检测系统 AURA，同时分析邮件正文与内嵌 URL。系统采用两层结构：先由 URL 分类器量化预测不确定性，仅将模糊样本升级至微调后的 Transformer 编码器做语义分析。在八个异构训练语料与两个跨十年真实语料上，AURA…
arXiv cs.LG45 天前
★ 1
研究：AMR 解析器输出的不确定性估计
论文首次在黑盒设定下研究 AMR 解析器的不确定性估计，利用 top-k 束搜索候选的成对相似度计算不确定性，并用 Prediction Rejection Ratio 评估。研究刻画了解析性能与不确定性的关系，识别出性能与可靠性平衡最佳的解析器。
arXiv NLP21 天前