★ 2
RL-IF 追踪在线强化学习跨轮次数据影响并提出 RINSE 过滤
论文将在线强化学习的数据归因形式化为轨迹级留一量 RL-LOO，并推导出一阶估计器 RL-IF，同时刻画优化效应与策略采样效应。基于此提出数据过滤方法 RINSE，在控制基准与 RLHF 式毒性缓解任务上优于标准 PPO 和局部归因基线。
arXiv cs.LG11 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将在线强化学习的数据归因形式化为轨迹级留一量 RL-LOO，并推导出一阶估计器 RL-IF，同时刻画优化效应与策略采样效应。基于此提出数据过滤方法 RINSE，在控制基准与 RLHF 式毒性缓解任务上优于标准 PPO 和局部归因基线。
论文提出用可控合成预训练让训练数据归因可实验验证，基于 O'PRIOR 生成带来源标注的表格任务测试床。实验显示移除归因最高的 5% 合成任务使 ROC-AUC 下降 0.013，远高于随机移除，但来源判别与干预忠实度并不总是一致。