★ 4
论文提出信念转变分叉的树状强化学习方法
树状展开为无评论家RLVR提供步级信用，但分叉位置决定收益。论文将分叉放置形式化为定位价值曲线枢轴，提出信念转移分叉：在连续信念分歧最大的步骤前分叉。三种实现无需步级监督，探针成本仅约1%数学步计算。在三个模型家族与两个领域上，该方法在数学与代码基准全面领先。
arXiv cs.AI51 天前
#RLVR
共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
CRoS 用打乱思维链的因果奖励提升推理准确性与忠实度
论文指出 RLVR 仅依赖结果正确性无法保证思维链对答案有因果贡献，而现有因果度量通过删步骤或注入错误扰动会改变信息本身。作者提出 CRoS，仅打乱推理步骤顺序而不改变内容来度量因果性。在 Gemma-3-4B 上，CRoS 在域外准确率、思维链质量与忠实度上均优于现有因果与结果奖励。
arXiv NLP2 小时前
★ 3
CCR 并发约束强化学习：8k 窗口替代 32k，训练 token 省 82%
论文延续 Batched Contextual Reinforcement，提出并发约束强化（CCR），把三道可验证题目放进一次受限训练补全中，截断前完成的正确答案仍保留信用。相比 32k 窗口的单题 GRPO，CCR 用 8,000 token 窗口在 4B 与 8B 数学推理模型上分别节省 8…
arXiv cs.LG14 天前
★ 3
arXiv 论文：RLVR 域外增益多为答案格式
论文测量可验证奖励强化学习（RLVR）报告的域外增益中有多少来自答案格式而非真实能力。在四个 7B SimpleRL 基座-RL 模型对上，公开代码提取器报告的域外多选题增益有 82% 在更严格的提取器下消失。
arXiv cs.LG17 天前
★ 3
MagicBeanStalk 提出递归数据合成，破解 RLVR 零优势陷阱
论文指出常用开源数学语料约88%的问题落入零优势陷阱，即每次 rollout 全对或全错。为此提出 MagicBeanStalk 递归数据合成算法，自顶向下分解、自底向上生长出难度校准的新问题。在8个数学基准上，gpt-oss-120b 从61.2提升至69.8，DeepSeek v4Flash …
arXiv cs.AI21 天前
★ 3
论文研究提示级差分隐私下的奖励驱动学习
论文研究提示级差分隐私下的可验证奖励强化学习（RLVR），提出首个RLVR训练的差分隐私保证。方法将单提示的响应组作为隐私记录，聚合梯度、裁剪一次并加高斯噪声。用Qwen2.5-1.5B-Instruct与LoRA在ε=8下训练，奖励信号在MATH与GSM8K上稳定提升准确率，并保留非私有GRPO…
arXiv cs.LG26 天前
★ 3
RLTL;DR：通过内化自生成反馈实现自我提升
论文针对可验证奖励强化学习（RLVR）在极难任务上成功率低、且无教师模型可蒸馏的问题，提出 RLTL;DR 方法。每次失败后向策略展示验证器输出，让其自行撰写一条 TL;DR 式洞察作为反馈，并以此条件化下一次 rollout，实现自我改进。
Apple Machine Learning Research32 天前
★ 3
RLVR 优化景观可为良性：来自自旋玻璃理论的洞见
论文研究可验证奖励强化学习（RLVR）在迭代群乘法等算法任务上的优化景观，将熵正则化 RLVR 映射为确定性策略上的自旋玻璃能量模型。理论与实验表明，对输入不相关的一类任务，该景观是良性的，不存在会困住训练的局部极小值。实际困难更多来自扩散势垒与梯度估计误差，可通过选择熵调节器缓解。
arXiv cs.LG38 天前
★ 2
arXiv 论文提出 OVC 框架，改进多模态强化学习信用分配
该论文指出，RLVR 将单一响应级优势统一分配给所有 token，忽视了视觉观察与后续推理的不同作用。作者提出 Outcome-Conditioned Visual Credit（OVC）插件框架，将视觉关联度量与 token 级信用分配解耦，并通过相对视觉编码、结果条件证据校准与归一化信用分配三…
arXiv cs.AI7 天前
★ 2
LIFT：用部分推理轨迹实现免训练提示选择
针对 RLVR 训练成本高的问题，论文提出免训练数据选择器 LIFT，仅用部分推理轨迹即可评估提示价值，核心指标 PRCL 通过 token 级对数似然比打分。在 Qwen2.5-Math-1.5B 与 DeepSeek-R1-Distill-1.5B 上，LIFT 将选择成本降低 3.7 至 9…
arXiv cs.AI13 天前
★ 2
研究审计 RLVR 数学语料去污染策略可靠性
论文审计 16 个开源 RLVR 数学语料（167 万条训练样本）与 6 个基准的重叠清洗策略，发现余弦阈值 0.80 下 88% 的删除为误删。现有 judge 裁定策略在留出集上达 98.1% 精确率，作者公开标注与逐策略决策以支持清洗可靠性评估。
arXiv NLP17 天前
★ 2
ArgGYM：可验证的结构化可废止推理基准
论文提出 ArgGYM，一个程序化生成、兼容 RLVR 训练的结构化可废止推理基准与环境，将推理拆解为 12 类任务，并以符号论证引擎计算形式状态进行评分。冻结基准含 1440 个验证实例，前沿与开源权重模型表现出明显不同的推理特征，且随课程配置依赖变长性能下降。
arXiv cs.AI32 天前