★ 2
OTROPE：大模型鲁棒离线策略评估
针对大语言模型评估成本高、分布偏移严重、黑盒模型难以获取似然的问题，论文提出OTROPE框架。该方法基于最优传输在语义空间做分布校正，无需行为策略建模或密度比估计，实现双重鲁棒式评估。实验显示其性能稳定优于基线，并能让弱评估器集成逼近甚至超越强评估器。
arXiv cs.AI33 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对大语言模型评估成本高、分布偏移严重、黑盒模型难以获取似然的问题，论文提出OTROPE框架。该方法基于最优传输在语义空间做分布校正，无需行为策略建模或密度比估计，实现双重鲁棒式评估。实验显示其性能稳定优于基线，并能让弱评估器集成逼近甚至超越强评估器。
论文研究如何用固定随机实验（A/B 测试）的历史数据，判断哪些基于上下文赌博机的自适应策略会优于原设计。方法结合离线策略评估与受控热启动仿真，用双重稳健估计器对候选策略排序。在合成 RCT 与 Hillstrom、Criteo Uplift、LaLonde 等基准上表明，存在显著异质性时自适应策略…