★ 3
arXiv 提出 Li²SAO 异步强化学习优化方法
论文分析 GRPO 与轻量复现的 LiSAO 在单轮推理与多轮智能体任务上的表现，发现 GRPO 在推理任务占优、LiSAO 在智能体任务占优。作者提出 Li²SAO，用组相对优势训练 actor、组中心回报训练 critic，待 critic 成熟后切换单轨迹 GAE，早期追平或超越 GRPO …
arXiv NLP7 小时前
#GRPO
共 44 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究揭示后训练如何塑造 LLM 价值偏好
研究者用不同观点配比的后训练语料，基于 SFT、DPO、GRPO 的五条后训练路径做受控实验，发现后训练会以不同方式放大观点失衡。价值偏好一旦被放大，能否被后续训练消除取决于方法与语料配比，且会通过蒸馏迁移到学生模型。作者建议在开发与评估 LLM 时同时考虑语料观点配比与后训练方法。
arXiv NLP6 天前
★ 3
Rouge 框架用 KL 正则路由实现 LLM 按需推理
论文提出 Route-and-Generate（Rouge）分层训练框架，让 LLM 按输入自适应决定推理量。路由策略在多种推理格式间分配固定采样预算，基础模型用 GRPO 与逐样本奖励优化，并以基于排名的奖励偏好更短的正确答案。路由策略通过闭式 KL 正则策略改进步骤蒸馏进神经路由器，在多个推理…
arXiv cs.AI10 天前
★ 3
ReAPO 提出重试感知策略优化，提升 LLM 推理探索效率
论文将信用分配问题建模为随机最短路，据此对 GRPO 做简单改造得到 ReAPO，为失败轨迹分配额外生成预算，使成功重试获得强化而不奖励先前失败。在 Qwen3 与 OLMo-2（0.6B–4B）及八个数学科学推理基准上，ReAPO 首答表现优于 GRPO；Qwen3-0.6B 上以少 39% 与…
arXiv cs.LG11 天前
★ 3
PAWM：用陷阱预判世界模型引导黑盒 LLM 智能体
论文提出陷阱预判世界模型 PAWM，在智能体可能遇到陷阱时选择性介入，预测即将发生的失败并引导其规避。PAWM 先在有陷阱标注的合成数据上做监督微调，再与黑盒 LLM 通过 GRPO 协同训练。在 ScienceWorld 上使 Claude Sonnet 4.5 性能提升 24.3%，WebAr…
arXiv cs.AI11 天前
★ 3
AlphaBet 用强化学习训练 LLM 事件预测智能体
论文提出智能体强化学习框架 AlphaBet，训练单一 LLM 策略在多个预测日期上搜索证据、推理并报告概率。在 GLM-4.5-Air 上，Forecast-Dojo Brier 分数从 0.731 降至 0.626，FutureX 从 0.612 降至 0.528，并指出 GRPO 标准差归一…
arXiv cs.LG14 天前
★ 3
MemComposer：强化学习为 LLM 智能体组装记忆
论文提出 MemComposer，通过联合考察当前查询与检索候选，决定纳入哪些记忆、选多少条以及如何排序。训练采用基于 GRPO 的 Experience Policy Optimization（ExPO），以完整智能体交互的任务成功反馈优化组装策略。在三个 τ²-bench 域上超越最强基线，并…
arXiv cs.AI17 天前
★ 3
RSHD：从失败尝试中恢复监督信号，改进 GRPO 训练
该论文提出 Replay-Selected Hindsight Distillation（RSHD），在 GRPO 训练中把失败尝试转化为额外的监督来源。策略模型在看不到参考答案的情况下为每次失败写纠正笔记，再用笔记重新解题；只有当重放成功率高于原始组且笔记未泄露答案时才被采纳，并蒸馏回普通提示策…
arXiv cs.AI17 天前
★ 3
研究揭示 Qwen3 无思考模式 RL 增益源于思维泄漏
论文对 Qwen3-1.7B、4B、8B 在 NO-THINK 模式下做 GRPO 训练，发现推理性能提升主要来自「思维泄漏」——即部分重新激活原模型 THINK 模式的推理能力，而非学到新能力。权重、激活与注意力头层面的实验显示，替换 THINK 相关激活子空间可消除大部分 RL 增益。
arXiv NLP19 天前
★ 3
VH-GPO：LLM 智能体强化学习的验证式交接
论文针对 GRPO 等组相对强化学习中全失败轨迹优势归零的问题，提出结果验证的师生交接方法 VH-GPO：教师仅提供足够支持到达学生可成功的状态，随后交回控制权。在 Qwen2.5-1.5B 上把 ALFWorld 成功率从 59.38% 提升至 94.79%，WebShop 从 71.62% 提…
arXiv cs.LG19 天前
★ 3
执行后学习：基于动作特定信用的策略优化
论文提出「执行后学习」范式，将程序执行结果作为中间状态，支持同一策略的额外学习交互，并设计动作特定信用分配：初始动作取最终轨迹结果信用，纠正动作取相对中间状态的改进信用。在 Image-to-TikZ 的 945 个留出样本上，单次调用渲染成功率达 92.70%，高于继续单阶段 GRPO 的 88…
arXiv cs.AI19 天前
★ 3
TreeHCA：多轮 LLM 智能体的后见探索与信用分配
论文提出 TreeHCA，将后见引导探索与后见信用分配结合，利用参考答案似然变化重访中间历史并采样替代续写，形成推理与工具交互树。作者推导相应的逆后见重要性修正，并用归一化树备份将终端结果传播为轮级优势。在七个问答基准、三个 Qwen 骨干上聚合精确匹配超越所有基线。
arXiv cs.LG21 天前
★ 3
CToM：让LLM预测用户回应以自我修正
论文提出协作心智理论CToM框架，训练LLM预测用户回应并据此在给出答复前进行内部修正，结合GRPO优化任务表现与交互效率。在数学推理、编码和写作任务上超越基线，协作数学推理准确率从74.1%提升至79.6%，编码与写作场景用户回复分别减少8%和17%。
arXiv cs.AI21 天前
★ 3
Residual Advantage：面向可验证奖励 RL 的学生相对教师引导方法
研究者提出 Residual Advantage（RA），将教师-学生概率残差作为有界单步奖励，减去学生策略下的状态值形成标准优势，并在响应内中心化后加入验证器优势。配合 Qwen3 系列学生与教师模型，RA 结合 GRPO 或 REINFORCE++ 在三个数学基准的 24 项对比中全部提升，P…
arXiv NLP24 天前
★ 3
论文提出 ARG 方法：平衡推理强化学习中的参考引导与自由生成
论文研究推理模型训练中参考解前缀引导的适度问题，通过前缀续写与验证回退比较轨迹分布。作者推导 KL 散度闭式解，提出自适应参考引导 ARG，从续写结果学习前缀选择器，无需估计成功概率。在 Qwen3-4B 与 Qwen3-8B 五个数学推理基准上，ARG 取得最高聚合 pass@12。
arXiv cs.AI24 天前
★ 3
StoreBench：评估与训练自主运营智能体的实时电商环境
论文推出 StoreBench，一个让智能体在真实级电商后端运营中型服装网店的实时商业环境，测试长程规划与不确定性下的经济判断。在 11 个场景中，最佳模型 DeepSeek-V4-Pro 通过 49% 任务种子单元，低于脚本启发式策略的 97%，人类专家得分高于所有模型；GRPO 后训练使 Qw…
arXiv cs.AI24 天前
★ 3
研究：小模型智能体难以高效利用时间预算
论文研究小型 LLM 智能体在明确墙钟时间预算下的表现，在 MLE-Bench Lite 与 Zork I 上评估 Qwen3.6-27B 与 Qwen3-4B。结果显示智能体难以将预算转化为受控用时，通过 harness 注入计时信息可显著改善预算遵守，GRPO 强化学习在 Zork I 上接近…
arXiv cs.AI24 天前
★ 3
外部引导何时助力 LLM 推理：GA-GRPO 偏差方差理论
论文提出统一理论框架 GA-GRPO，将外部引导建模为改写问题分布的随机引导算子，并给出收敛率、偏差界与最优引导权重闭式解。实验表明最优权重 GA-GRPO 在九个数学与 OOD 基准上匹配或超越 TAPO、LUFFY、ExPO 与原始 GRPO，且 GPU 小时数减少 31%。
arXiv cs.LG26 天前
★ 3
MaD-RL：用强化学习校准大模型输出分布
该论文提出 MaD-RL 框架，通过强化学习实现「分布匹配」，让模型输出的潜在类别属性分布对齐指定目标分布，而非仅最大化期望奖励。作者指出 GRPO 等主流后训练方法会压缩输出多样性、使策略概率集中于单一模式，而熵正则与采样温度只能有限缓解。论文为 KL、Jensen-Shannon 等散度设计奖…
arXiv cs.LG34 天前
★ 3
论文：多轮智能体自蒸馏不如纯强化学习
论文指出同策略自蒸馏（OPSD）在多轮智能体中会让模型表现得像拥有从未观察到的特权信息，性能甚至可能低于未训练基座。作者提出Privileged Self-Practice（PSP），把特权信息从损失函数移到采样器：当任务rollout大多失败时，注入分析模型撰写的任务指令重新采样，再用原GRPO…
arXiv cs.AI38 天前
★ 3
论文用可验证奖励强化学习训练Qwen3小型搜索智能体
研究将「推理-搜索」范式应用于十亿参数以下的小模型，用 GRPO 训练 Qwen3.5-0.8B 并接入维基百科搜索工具，在 MuSiQue 上仅改变奖励形状。最佳运行在七项问答基准上取得 0.352 平均精确匹配，较未训练基线提升 3.8 倍，且无需蒸馏。结果显示稀疏精确匹配奖励（数学与代码的 …
arXiv cs.AI38 天前
★ 3
CodeMidas：从代码本身扩展智能体编码 RL 环境
论文提出 CodeMidas，仅以源代码为任务输入，将现有代码库中已实现的功能转化为可执行 RL 环境，通过智能体探索、测试构建与执行验证过滤候选任务。产出 5,545 个训练任务、覆盖 3,185 个代码库与 23 种语言，用 GRPO 训练 MiMo-V2.5 在五个基准上全面提升。
arXiv cs.AI42 天前
★ 3
EPIG-Tree：梯度高效强化学习的计算最优分支
论文将树状 rollout 构建视为策略梯度估计的计算分配问题，提出 EPIG-Tree 评分，主张分支应放在能最大程度降低策略梯度不确定性的位置，而非仅凭策略不确定处。方法在克隆状态控制中降低梯度 MSE，在 13 个连续控制环境中全部胜出，并在多轮 Wordle 在线任务中取得 0.850 最…
arXiv cs.LG45 天前
★ 3
BATON：LLM智能体的双轴策略优化
研究将LLM智能体强化学习拆分为轨迹内反馈归因与轨迹间目标聚合两个维度，提出双轴策略优化框架BATON。其贝叶斯反馈归因构建以反馈为条件的动作后验，轨迹质量归一化则为完整轨迹分配等量优化权重。在ALFWorld、WebShop与SearchQA上，两轴各自带来独立增益，组合后在多种模型规模下表现最…
arXiv cs.AI45 天前
★ 3
DACA-GRPO：扩散语言模型强化学习的去噪感知信用分配
研究指出扩散大语言模型 RL 训练中缺乏跨去噪轨迹的时间信用分配，且平均场似然估计存在偏差。为此提出 DACA-GRPO，一种可插拔的轻量增强方法，适用于任意 GRPO 风格训练器。
Apple Machine Learning Research47 天前
★ 3
HarnessBandit：多Harness智能体强化学习的可学习性-可迁移性调度
针对语言模型智能体在不同harness（系统提示、工具模式、控制循环）下表现不均的问题，论文提出HarnessBandit在线调度器，每个优化步选择一个harness。它在GRPO更新后观测可学习性（批次平均绝对优势）与可迁移性（梯度草图余弦相似度），融合后带访问奖励与探索下限采样。在Qwen3.…
arXiv cs.LG48 天前
★ 3
NGU：让LLM强化学习永不放弃难题
论文指出LLM的RL训练存在马太效应：简单题提升大、难题提升小，原因是算力被浪费在简单题上。作者提出Never Give Up自适应采样方法，持续为同一问题生成样本直到答对，借助异步RL把算力重新分配给难题，在Deepscaler数学基准与Manufactoria编码任务上提升单位算力表现。
arXiv cs.LG48 天前
★ 3
LLM推荐系统安全约束微调
论文训练一个推荐LLM，基于大型视频流媒体服务的用户观看历史生成个性化推荐解释，要求解释忠实于所关联节目且严格无害。作者训练两个覆盖三项标准的LLM评判奖励模型，并提出约束GRPO方法。在真实测试集上，三项标准全通过率从0.649提升至0.956（自有评判）与0.677至0.931（独立评判），且…
arXiv cs.AI48 天前
★ 3
GACA：长程 LLM 智能体信用分配
论文提出 GACA，一种无评论家的估计器，其信用分配粒度随基于不确定性的关键性代理自适应变化。它按每步负对数似然混合步级与回合级优势，在 ALFWorld 与 WebShop 上于 1.5B 和 7B 规模均优于 GRPO 与 GiGPO。
arXiv cs.LG49 天前
★ 3
DA3PO：难度感知优势放大提升动态采样效率
DAPO 的动态采样虽稳定训练但效率低，因为它无法有效利用困难提示上的正确响应。DA3PO 通过放大困难正确响应的优势，提高训练效率，仅需少于 30 行代码修改，在多个基准上显著优于 GRPO 变体。
arXiv cs.AI63 天前