新论文提出不确定性引导渐进收缩,推理后训练预算降至0.22%
该研究提出不确定性引导的渐进收缩框架,用蒙特卡洛推理树刻画过程级不确定性,先将语料收缩为紧凑教师池,再在SFT中按学生状态在线路由优化。实验显示仅用全量数据SFT的0.22%优化预算、训练曝光减少450倍以上,仍能维持或提升推理性能,并可跨学生模型族与黑盒教师泛化。
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
该研究提出不确定性引导的渐进收缩框架,用蒙特卡洛推理树刻画过程级不确定性,先将语料收缩为紧凑教师池,再在SFT中按学生状态在线路由优化。实验显示仅用全量数据SFT的0.22%优化预算、训练曝光减少450倍以上,仍能维持或提升推理性能,并可跨学生模型族与黑盒教师泛化。
论文针对多专家提供区间标签的场景,区分标签内不精确性与专家间差异两类不确定性来源。方法将异构标签词表统一到概率标签空间,用 Beta 混合分布建模个体区间标签并以 Cramér 距离目标训练,再将预测不确定性分解为组件内、组件间与模型不确定性,并引入分解匹配对齐。在海冰浓度任务上,MAE 相比硬标…
该论文提出 FARE(Fair Ranking Executor),一个模块化的不确定性感知执行层,可将任意黑盒 CTR 模型的预测转化为满足 Share of Voice(SOV)公平约束的排序,无需重新训练底层模型。作者将 SOV 约束排序建模为类似算法交易中受限交易执行的深度强化学习问题,并…
研究者提出 EnSol,一个环境感知的概率框架,将溶质与溶剂表示为分子图并分别学习表示,通过交叉注意力捕捉相互作用,温度经特征调制直接注入溶剂环境,并用混合密度网络预测完整溶解度分布。在 SolProp 与 Leeds 基准上分别取得 0.876 和 0.601 的 Spearman 相关,优于现…
论文提出 pFedHGP,用于数据分布在异构客户端时的概率回归与分类,将每个客户端的潜在函数分解为共享全局成分、客户端偏差与局部残差。方法通过稀疏诱导变量近似与联邦变分推断保持原始数据本地化,服务器仅同步低维统计量。在压机吨位监测中以 13.77% 标注周期实现完美故障分类,并在联邦空气质量建模中…