★ 2
RL-IF 追踪在线强化学习跨轮次数据影响并提出 RINSE 过滤
论文将在线强化学习的数据归因形式化为轨迹级留一量 RL-LOO，并推导出一阶估计器 RL-IF，同时刻画优化效应与策略采样效应。基于此提出数据过滤方法 RINSE，在控制基准与 RLHF 式毒性缓解任务上优于标准 PPO 和局部归因基线。
arXiv cs.LG11 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将在线强化学习的数据归因形式化为轨迹级留一量 RL-LOO，并推导出一阶估计器 RL-IF，同时刻画优化效应与策略采样效应。基于此提出数据过滤方法 RINSE，在控制基准与 RLHF 式毒性缓解任务上优于标准 PPO 和局部归因基线。
研究者基于210万小时无约束广播音频开展大规模芬兰语语音自监督学习研究，提出以ASR置信度作为预训练数据质量代理，相比基于语种识别的过滤在更小训练集上取得3-7%相对词错率改善。研究还在相同参数预算下对比Transformer、Macaron-Net、Conformer与E-Branchforme…