研究:增加任务量未必能修复智能体排行榜可靠性
研究提出贝叶斯方差分解框架,分析22个智能体基准榜单的可靠性来源。发现固定模型-脚手架系统的排名可靠,但底层模型排名可靠性显著偏低;脚手架选择会改变结论,且无限增加同类任务最多只能提升0.097的可靠性。合并多样基准可在同等预算下将可靠性从0.44提升至0.75,并最多降低83%成本。
共 6 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究提出贝叶斯方差分解框架,分析22个智能体基准榜单的可靠性来源。发现固定模型-脚手架系统的排名可靠,但底层模型排名可靠性显著偏低;脚手架选择会改变结论,且无限增加同类任务最多只能提升0.097的可靠性。合并多样基准可在同等预算下将可靠性从0.44提升至0.75,并最多降低83%成本。
论文提出FB-GDM全贝叶斯引导扩散方法,从ΠGDM的高斯近似出发推导闭式条件分数,将两个精度参数作为隐变量在每步反向过程中用变分推断估计,无需噪声水平或真值标定。在CelebA-HQ逆问题上比名义设置的ΠGDM最高优14dB,接近真值标定的oracle,并在算子、噪声或图像分布变化时保持稳健、不…
针对医疗联邦学习中的异质性与时序概念漂移,论文提出自适应贝叶斯伙伴选择(ABPS)框架,各中心基于 Beta-Bernoulli 后验与 UCB 准则选择合作方,并可在无互利伙伴时主动放弃通信。在 MIMIC-IV 的 230 个非独立同分布临床中心上,ABPS-X 以 FedAvg 0.09 倍…
论文针对标签偏移破坏共形预测可交换性假设的问题,提出标签偏移调整贝叶斯分数(LSA score)。该方法基于后验预测倾斜恒等式,直接校正贝叶斯分数,在分子性质预测中产生更短的预测区间且覆盖率相当。
该论文研究允许学习器放弃给出最终推荐的贝叶斯固定置信度最佳臂识别问题,在目标错误率 δ 与弃权预算 α 约束下提出 Screen-and-Confirm(S&C)算法并分析其期望停止时间。作者还推导出满足约束的任意算法的最小期望停止时间,在高斯先验与奖励下给出匹配的上下界,并证明禁止弃权时 S&C…
论文研究探索有硬预算且先于利用的多臂老虎机变体,证明此前 1/3 与 4/27 近似算法的分析是紧的。作者给出达到 0.43 近似的高效算法,并在有界可交换奖励观测下将保证提升至接近 1-e⁻¹(约 0.63),该技术还可用于序列模型评估的停止判定。