论文审计推理时模型漂移下语言模型共形预测覆盖率失真
论文指出语言模型共形预测通常在标定与部署配置一致的匹配协议下评估,而实际部署常因量化模式、温度等不同产生推理时模型漂移。在 8 个模型、4 个基准、12 种推理配置上的实验显示匹配评估会显著高估部署覆盖率,且效应因模型与数据集而异。
共 30 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出语言模型共形预测通常在标定与部署配置一致的匹配协议下评估,而实际部署常因量化模式、温度等不同产生推理时模型漂移。在 8 个模型、4 个基准、12 种推理配置上的实验显示匹配评估会显著高估部署覆盖率,且效应因模型与数据集而异。
论文提出「机制不确定性」概念,用因果鲁棒性边际衡量偏离模型输出所需的最小内部干预,并以 Jacobian Lens 概念引导向量实现。在三个开源模型与五个问答数据集上,错误与不确定回答的边际更小,且该方法可补充传统基于输出的不确定性估计。
研究提出 U-Space,一个低维子空间,使模型演化中的不确定性可测量、可解释。方法识别怀疑与确定的语义锚点,将其反嵌入方向映射回残差空间并组合成正交基,U-Lens 将每个 token 状态投影得到可解释的不确定性图。无需正确性标签、重复生成或训练,在推理基准上优于现有基线。
论文研究大模型在语言不确定性量化上与人类的差异,以及语言标记能否可靠量化模型不确定性。作者从心理学与决策科学文献整理人类不确定性标记语料,发现大模型赋予这些标记的数值水平与人类显著不同。随后提出一种基于优化的算法,直接从模型输出学习标记-不确定性映射,实现标记层面的人机置信语义对比。
论文将 ICU 警报削减重构为保留、抑制、延迟三向分诊,并对被抑制警报中真实警报比例给出 95% 置信上界。在 VTaC 基准上以 5% 预算抑制 74.8% 假警报,仅静默 1.5% 真实警报。核心发现是多重性校正的代价:网格越细可认证的越少。
神经算子(如傅里叶神经算子 FNO)在逼近偏微分方程解上精度出色,但缺乏严格的不确定性估计。作者提出物理信息保形预测(PI-CP),将 PDE 残差嵌入分裂保形预测的非一致性分数,产生无分布假设、有可证覆盖保证且空间自适应的预测区间。研究还证明 FNO 的平移等变性对带 Dirichlet 边界条…
论文提出一种分阶段、可问责的评估协议,将部署模型评估视为带声明参考水平与量化不确定性的测量。协议设置设备、受试者与时间四层累积泛化阶段,用重复训练的分位数而非均值做决策,并引入超出当前范围率揭示隐性误导。在真实矿井地磁定位任务中,模型在训练34个月后、未知设备代际与留出测量员条件下仍达16.5倍随…
论文关注临床诊断智能体何时应诊断或转诊的自主停止可靠性问题,提出风险约束停止层Cros,结合状态级错误排序、独立开发集策略设计与LTT式精确检验。在1834例MIMIC腹痛基准上,完整排序器状态错误AUROC达0.853,显著优于最大类概率的0.715和原生停止分数的0.552。在367例评估集上…
CUSP框架通过语义意见池化量化多VLM系统的集体不确定性,无需训练或校准。在静态集成中,集体不确定性在小模型上最强,JSD在商业模型上最强,并提升整体准确性。在多步多智能体系统中,集体不确定性可排名系统失败。
一篇 arXiv 新论文针对 M/EEG 神经源成像中的病态逆问题,提出基于先验预条件前向算子奇异值结构的频谱框架,将后验协方差精确分解为数据信息分量与不可约认知不确定性分量。该方法可区分可通过更好测量降低的不确定性与受传感几何限制的固有不确定性,并给出等价的减法分解形式,为线性高斯贝叶斯逆求解器…
针对咳嗽声学检测模型在真实部署中静默失效的问题,研究提出 SECURE-AI 框架,包裹冻结的 MobileNetV3 分类器,融合蒙特卡洛 Dropout、温度缩放与嵌入空间马氏距离。在 Coswara 数据集上,马氏距离信号最强,可在保留 90% 真阳性的同时去除约三分之二误报。整套流程可运行…
论文提出一种路径级共形校准方法,用前缀最大值构造终端路径分数,只需校准一个分位数即可在数据依赖的早退选择下保持覆盖率。实验显示路径选择在八个编码器任务上宏覆盖率 0.901,优于逐层选择的 0.814。
论文针对 AI 中可靠不确定性量化难题,提出多层粒子边缘 Metropolis-Hastings(MLPMMH)方法,结合伪边缘推断与跨网络宽度截断层级的耦合序列蒙特卡洛。作者证明 MLPMMH 以 O(ε⁻²) 期望计算代价达到 O(ε²) 均方误差,并提出可扩展近似 S-MLPMMH。在 MN…
一篇博士论文系统研究知识图谱嵌入(KGE)中的三类不确定性:知识不确定性、算法不确定性与预测不确定性。作者提出基于投票的聚合框架缓解训练随机性,并将保形预测引入 KGE 以构建具有无分布覆盖保证的答案集。该工作为高风险场景下可靠的知识图谱推理提供了模型无关的理论与方法基础。
论文研究由标量关注量是否越过固定阈值决定的决策场景,提出阈值感知共形路由(TACR)。该方法学习输入相关的区间尺度,使区间紧致性集中在决策边界附近,同时通过精确分裂共形校准保持无分布边际覆盖保证。在多个科学与工程数据集上,TACR 在相同覆盖目标下将仿真器调用相对标准共形预测减少 14%–75%。
论文提出 CRC-Router,一个风险约束、不确定性感知的路由模块,用于判断医疗 AI 系统何时可自主决策、何时应转人工复核。它融合多种不确定性信号与预测分数,通过轻量风险模型估计误接受风险,并用保形风险控制校准阈值。在 NIH ChestX-ray14 胸片多病灶分诊上取得最优风险-覆盖率权衡…
论文提出 TAM-Chain 框架,将多倍率(10x/20x/40x)甲状腺细胞学特征提取建模为吸收马尔可夫链,并结合香农熵不确定性量化实现最优停止与人工转诊机制。内部测试集上 Macro F1 达 0.9741、假阴性率为 0,外部严重域偏移验证集上仍保持 0.7026 的稳定性。该框架旨在兼顾…
针对时间序列基础模型(TSFM)多步预测中固有的不确定性,论文提出 Slicing-Graphing-Alignment(SGA)方法。该方法用有向无环图刻画所有潜在预测分支的拓扑结构,并以图复杂度界定多步预测的不确定性。在 11 个 TSFM 与 27 个数据集上的实验显示,SGA 在误差排序上…
论文研究多元共形预测,指出既有最小体积方法依赖分位数阈值、忽略尾部残差严重程度。作者提出尾部感知几何学习框架,用两段式设计在估计集上以 CVaR 约束做体积最小化学习度量矩阵,再在留出校准集上做标准共形校准。问题为凸优化,并理论刻画了椭球体积与尾部严重度的权衡。
论文提出结合迁移学习与共形分位回归(CQR)的框架,改善限电导致历史观测稀缺地区的光伏功率预测与不确定性估计。以澳大利亚 Alice Springs 数据预训练时序模型并迁移至模拟孟加拉数据,仅一个月目标数据时 RMSE 降低最多 23.7%。迁移学习加 CQR 在三个月数据下达到 94.3% 经…
论文研究将既有不确定性量化(UQ)方法适配到几何条件神经代理模型时的表现,比较高斯过程、Monte Carlo dropout与深度集成三类方法。在DrivAerStar、AirFRANS与汽车碰撞三个工业级CAE数据集上评估不确定性的量级可信度、误差定位能力与对陌生输入的响应。结果显示各方法相对…
研究基于DeepLesion构建五访次同病灶轨迹基准,比较稀疏到最终与固定访次视界两种设计。结果显示增加历史观测在控制预测视界后收益有限,点预测精度、不确定性可靠性与轨迹一致性并不必然同步提升,需联合评估。
活跃子空间方法通过沿对输出影响最大的参数方向做推断来量化高维模型不确定性,但需存储大量全维梯度,随模型增大而不可行。论文提出压缩活跃子空间 CAS,先用结构化等距嵌入将参数映射到压缩空间,再在其中构建活跃子空间。方法大幅降低内存需求,使大模型贝叶斯推断可行,并在规模递增的神经网络上保持预测性能与稳…
针对演化图上节点分类需兼顾归纳泛化与不确定性校准的需求,论文在确定性GNN编码器上叠加随机末层参数,提出变分贝叶斯末层(VBLL)目标联合训练编码器与近似后验。测试时冻结编码器并施加在线拉普拉斯更新,对应带指数遗忘与KL锚定的幂先验贝叶斯模型。在五个分布偏移基准上,online GVBLL是唯一在…
研究提出模块化安全笼架构,作为并行监控层评估预测有效性而不修改底层估计器,通过融合不确定性量化、域外检测与影响函数等指标约束模型运行域。在Ariel数据挑战赛数据上,仅减少20%数据覆盖即可使误差降低45%至65%。
论文针对标签偏移破坏共形预测可交换性假设的问题,提出标签偏移调整贝叶斯分数(LSA score)。该方法基于后验预测倾斜恒等式,直接校正贝叶斯分数,在分子性质预测中产生更短的预测区间且覆盖率相当。
研究量化海冰发展阶段(SoD)制图中的两类不确定性:来自不同冰情服务独立标注的标注者间标签不确定性,以及模型自身的不确定性。实验表明,融合多标注者信息的软监督可提升模型不确定性与标注分歧的相关性,在冰边缘 0–10 公里范围内相关性达 0.704。蒙特卡洛 dropout 提供最佳校准置信度,期望…
论文构建按观测与目标情境接近度加权的局部后验族,用高斯局部化权重纳入情境不确定性,并以条件归一化流做摊销变分推断。在 Branin-Hoo 双实验与单柱海洋模型 k-ε 湍流闭合应用中,局部后验校准相比确定性校准与全局后验校准降低了温度与纬向速度误差。
研究提出结合条件生成对抗网络与蒙特卡洛 Dropout 不确定性量化的数据增强框架,学习结构响应的类别条件时频特征并合成信号。在谢菲尔德大学 BAE Systems Hawk T1A 全尺寸基准数据集上验证,模型能准确捕捉主导结构动力学,并可作为数字孪生组件支持安全关键航空系统的损伤分类决策。
论文将随机森林、XGBoost 与逻辑回归集成做中智分解,输出四类不确定性指标,在 CWRU 与 JNU 轴承基准上评估。结果显示预测熵与误差稳健相关,时域与频域模型融合的 JS 散度指标在分布漂移下表现最佳。