★ 3
研究：无人物设定基线在文案点击预测中胜过合成人物设定
研究以 Upworthy 研究档案中数千个真实标题 A/B 测试为基准，检验 LLM 合成人设对受众点击反应的预测效度。结果显示，基于真实受众人口统计的十人设面板预测效果反而更差，而无人物设定的零样本基线排序明显更优（Kendall τ=0.361 对 0.084）。结论是让模型直接估计总体点击倾…
arXiv cs.AI40 天前
#A/B 测试
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文提出最小化利益方拒绝的模型混合抽签算法
该论文研究 AI 开发者如何在多个候选模型版本间随机分配请求（类似 A/B 测试），同时满足安全团队、监管方、客户等各利益方的性能标准。作者证明该问题即使已知全部约束也是 APX-hard，并给出常数候选数下的多项式算法与部分可查询场景的采样保证。
arXiv cs.LG3 天前
★ 2
离线策略评估助力自适应实验设计
论文研究如何用固定随机实验（A/B 测试）的历史数据，判断哪些基于上下文赌博机的自适应策略会优于原设计。方法结合离线策略评估与受控热启动仿真，用双重稳健估计器对候选策略排序。在合成 RCT 与 Hillstrom、Criteo Uplift、LaLonde 等基准上表明，存在显著异质性时自适应策略…
arXiv cs.LG35 天前