★ 3
arXiv 论文：多数投票奖励为何能逼近可验证 RL
一篇 arXiv 论文从批次级更新的角度解释了为何用模型自身样本的多数投票作为奖励，能复现可验证奖励训练的大部分收益。作者将多数投票更新分解为收缩与误导两部分，发现只要标签错误在各 prompt 间方向不一致，误导项会随批次增大而消失。在五个模型上测量逐响应梯度后，多数投票更新与金标准更新的一致性…
arXiv cs.LG17 天前
#可验证奖励
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ExPPO：保留探索的策略优化方法
论文提出 Exploration-Preserving Policy Optimization（ExPPO），一种轻量级优势塑形规则，利用提示相对、长度归一化的响应惊讶度与通过率重新分配信用。该方法在保持验证器极性的同时维持每组绝对优势质量，理论分析给出熵与正确模式发现提升的局部条件。实验显示域内…
arXiv cs.AI27 天前
★ 3
TimeThink：激发时序大模型组合推理
论文针对时序多模态大模型难以捕捉动态时序模式、缺乏显式推理的问题，提出TimeThink合成框架。该框架利用趋势、季节性等域无关时序原语确定性生成原子与组合问答对，并采用可验证奖励强化学习训练策略。仅用合成数据训练即在合成与真实基准上显著超越强基线。
arXiv cs.AI48 天前
★ 3
MInTRL：离策略干预增强在线强化学习
论文提出最小干预强化学习 MInTRL，在在线策略 rollout 中通过稀疏局部干预扩展探索前沿，并用序列级优势回归目标避免重要性采样。在数学与代码基准上持续优于在线与离策略基线，性能在中等干预强度时达到峰值。
arXiv cs.LG49 天前
★ 2
GGPO：面向可验证奖励离线强化学习的 Gibbs-Gap 策略优化
论文提出 Gibbs-Gap 策略优化（GGPO），在可验证奖励强化学习中避免学习者到行为策略的重要性权重，从而降低长回复的高方差。实验显示 GGPO 在数学推理上优于 GRPO 与 AGRO，且参考刷新机制对性能至关重要。
arXiv cs.LG17 天前
这个主题的相关资产
相关术语RLVR（可验证奖励强化学习）