★ 2
预算化多源反事实标注用于离策略评估
论文研究上下文赌博机离策略评估中反事实标注的预算化获取,给定各来源成本与误差画像,将问题建模为上下文-动作对与标注来源的整数分配问题以最小化估计器方差。提出基于主化-最小化的算法与动态规划子程序,在合成临床与 LLM 标注教育赌博机实验中,相比无标注分别降低 20.58% 和 10.77% 的 M…
arXiv cs.LG24 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文研究上下文赌博机离策略评估中反事实标注的预算化获取,给定各来源成本与误差画像,将问题建模为上下文-动作对与标注来源的整数分配问题以最小化估计器方差。提出基于主化-最小化的算法与动态规划子程序,在合成临床与 LLM 标注教育赌博机实验中,相比无标注分别降低 20.58% 和 10.77% 的 M…
论文提出 PFN-OPE,一种先验数据拟合网络,将离策略评估摊销到上下文赌博机任务分布上,一次预训练即可在测试时单次前向传播给出价值估计,无需逐任务拟合。在 HelpSteer2 与 UltraFeedback 上误差比最佳基线低 2.0 至 9.3 倍。