★ 3
论文提出L2RR方法,缓解GRPO中源与目标数据分布不匹配问题
针对RLVR中GRPO的采样效率与性能权衡,论文指出源训练集与目标测试集常不同分布,且目标提示因隐私不能共享。作者提出学习重加权采样(L2RR),利用目标侧聚合反馈优化源提示采样分布,在六个数学推理基准和三个模型规模上提升目标域表现与采样效率。
arXiv cs.LG10 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
针对RLVR中GRPO的采样效率与性能权衡,论文指出源训练集与目标测试集常不同分布,且目标提示因隐私不能共享。作者提出学习重加权采样(L2RR),利用目标侧聚合反馈优化源提示采样分布,在六个数学推理基准和三个模型规模上提升目标域表现与采样效率。