★ 3
CBPO：统一离线示范与在线策略 rollout 的推理后训练方法
研究者提出 Cross-Behavior Policy Optimization（CBPO），通过固定参考目标的回归损失，将离线示范、参考回答以及当前与历史 rollout 统一到同一优化框架中，无需单独协调 SFT 与 RL 目标，也无需重要性权重或学习 critic。在四个数学推理基准上，CB…
arXiv cs.LG20 天前
#策略优化
共 21 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
凸-凹强化学习：突破策略优化非凸难题
论文证明在 log 密度比坐标下，策略学习的精确每轮目标（可用 PDIS 计算）是差分凸约束的差分凸规划，从而将 CPI、NPG、TRPO、AWR 统一为特例，并开启耦合连续决策的多步轴。作者用序列凸规划求解并给出收敛保证，多步 CCRL 在需跨时间传播信用的诊断 MDP 上占优，在医疗场景中训练…
arXiv cs.LG24 天前
★ 3
KLPO：面向LLM智能体的KL正则化策略优化
论文提出KL-Regularized Policy Optimization（KLPO），将KL正则项锚定在采样器端，使正则化改进步骤具有闭式Gibbs解，并通过最小二乘拟合对数比最优条件，无需重要性权重。该方法实现无critic更新，每个prompt只需一次rollout，且SPPO、GPO、R…
arXiv cs.LG24 天前
★ 3
ExPPO：保留探索的策略优化方法
论文提出 Exploration-Preserving Policy Optimization（ExPPO），一种轻量级优势塑形规则，利用提示相对、长度归一化的响应惊讶度与通过率重新分配信用。该方法在保持验证器极性的同时维持每组绝对优势质量，理论分析给出熵与正确模式发现提升的局部条件。实验显示域内…
arXiv cs.AI26 天前
★ 3
T2SPO：面向智能体强化学习的轨迹到步策略优化
论文提出Trajectory-to-Step Policy Optimization（T2SPO），利用历史交互轨迹为策略学习提供步级反馈，通过预训练TabPFN回归器估计每个状态到成功的剩余距离，其变化量作为辅助信用分配。在ALFWorld和WebShop上，1.5B与7B模型的任务成功率均持续…
arXiv cs.LG30 天前
★ 3
ContractRL：可审计工具调用修复
论文提出 ContractRL，将验证器引导的 JSON 修复建模为有界决策过程，通过契约约束的动作掩码过滤非法 RFC-6902 操作。在相同验证器信息下，ContractRL 以 34.4 个生成 token 达到 0.9362 语义成功率，优于 Patch-SFT 的 0.9076 与全量重…
arXiv cs.AI30 天前
★ 3
PCPO：算法设计智能体的参数化自进化
论文针对算法设计智能体的上下文进化停滞问题，提出样本高效的参数化自进化方法 PCPO，利用全局种群与混合策略更新保留多样化自生成算法。在电子设计自动化布局的学习率调度任务中，仅用 4 个芯片案例训练即超越 OpenEvolve、ShinkaEvolve 等方法，8B 模型性能可比 GPT-5.5，…
arXiv cs.AI31 天前
★ 3
并非每个Token都值得蒸馏：Direct-OPD选择性监督
论文指出Direct On-Policy Distillation的token级对数比只衡量相对变化，在概率质量消失时奖励可保持不变。作者提出S²D-OPD，按教师参考JSD对学生采样状态排序并屏蔽低散度状态的监督，仅保留每条回答前10%状态。在1.7B至8B的四个学生模型上，八个设置中七个优于稠…
arXiv cs.LG37 天前
★ 3
DEEPO：双熵增强策略优化缓解多模态大模型幻觉
论文针对多模态大模型强化学习后幻觉改善不均的问题，定位到奖励到参数更新纠正链的两个薄弱点。作者提出 DEEPO，结合信号方差正则化与梯度预处理：语义熵触发的专家前缀为高不确定查询注入有依据的续写，优势符号感知的 Renyi 预处理对抗 logit 饱和。在 VideoMMMU 上取得统计显著的提升…
arXiv cs.AI37 天前
★ 3
GVPO++：面向LLM后训练的策略优化新法
论文提出GVPO（组方差策略优化），将KL约束奖励最大化的解析解融入梯度加权，避免对重要性采样的依赖，从而缓解训练不稳定问题。GVPO保证唯一最优解，并自然扩展到在线策略蒸馏（OPD），支持多样化目标设计。该方法为可靠、通用的LLM后训练提供新范式。
arXiv cs.AI41 天前
★ 3
BATON：LLM智能体的双轴策略优化
研究将LLM智能体强化学习拆分为轨迹内反馈归因与轨迹间目标聚合两个维度，提出双轴策略优化框架BATON。其贝叶斯反馈归因构建以反馈为条件的动作后验，轨迹质量归一化则为完整轨迹分配等量优化权重。在ALFWorld、WebShop与SearchQA上，两轴各自带来独立增益，组合后在多种模型规模下表现最…
arXiv cs.AI44 天前
★ 3
EvolveTrade：自进化LLM交易智能体
论文提出EvolveTrade框架，将工具使用交易智能体的系统提示视为文本参数化策略，由策略智能体依据决策轨迹与组合反馈定期修订，同时保持底层LLM固定。在多种市场状态与两个LLM骨干上，该方法在多数设置中提升夏普比率与累计收益，行为分析显示自进化策略增加了代码介导分析并激活与市场状态相关的计算。
arXiv cs.AI45 天前
★ 3
PGPO：基于势引导的多轮智能体任务策略优化
论文提出PGPO算法，通过经验状态势估计实现跨轨迹信用传播，为多轮智能体任务提供细粒度步骤级信用分配。在ALFWorld和WebShop上表现优于近期方法，且训练开销可忽略。
arXiv cs.AI59 天前
★ 2
arXiv 论文提出 RePPO：用排斥种群策略梯度实现行为多样强化学习
论文提出排斥种群策略优化 RePPO，将 PPO 适配为用种群相关动态奖励联合优化紧凑的多样化高质量策略种群，避免依赖昂贵的进化算子。在连续控制任务上取得良好质量—多样性权衡，并首次将质量多样性强化学习扩展到像素输入与大语言模型微调。
arXiv cs.LG4 天前
★ 2
DoobPO：基于 Doob h 变换的生成策略强化学习微调
论文提出 Doob Policy Optimization（DoobPO），利用 Doob h 变换实现扩散与流策略的无似然强化学习微调，兼容 PPO、GRPO 等策略改进规则。方法先学习比率模型再通过条件漂移匹配蒸馏目标策略，在 MuJoCo 连续控制基准上表现优于扩散与流策略基线。
arXiv cs.LG10 天前
★ 2
GGPO：面向可验证奖励离线强化学习的 Gibbs-Gap 策略优化
论文提出 Gibbs-Gap 策略优化（GGPO），在可验证奖励强化学习中避免学习者到行为策略的重要性权重，从而降低长回复的高方差。实验显示 GGPO 在数学推理上优于 GRPO 与 AGRO，且参考刷新机制对性能至关重要。
arXiv cs.LG16 天前
★ 2
arXiv 论文提出定点流匹配 FFM，无需数据训练强化学习流策略
arXiv 新论文提出定点流匹配（FFM），一种无需训练数据的强化学习流策略训练与微调方法。FFM 利用目标流恒等式将 actor 更新转化为定点迭代，以 critic 的动作梯度作为回归目标。实验表明，FFM 能在离线到在线场景中有效微调预训练流策略，并支持在线 RL 中从零高效训练流策略。
arXiv cs.LG20 天前
★ 2
OGPO：可恢复 VLA 模型的离线目标条件策略优化
研究者提出 OGPO 框架，将视觉-语言-动作模型的后训练从轨迹级动作模仿转向关键状态可达性学习，通过语义关键状态重标注与目标条件过程奖励提升恢复能力。在 LIBERO 与 MetaWorld 上持续优于监督微调，并在扰动基准 LIBERO-ReAct 上展现更强鲁棒性。
arXiv cs.AI20 天前
★ 2
TRIAGE：NVFP4 强化学习方向感知失配稳定化
论文刻画了低精度采样器与学习器执行差异与策略梯度方向的交互，提出方向感知稳定化方法 TRIAGE。在 Qwen3-4B 与 Qwen3-30B-A3B 上实现稳定优化并达到全精度水平，rollout 吞吐量最高提升 2.3 倍。
arXiv cs.LG25 天前
★ 2
工具结果缓存可反转组归一化策略更新
论文研究智能体训练中工具结果缓存对 rollout 随机性的耦合影响，证明尽管边际上条件奖励分布一致，按组共享一次随机结果仍可能反转期望的组归一化策略更新。作者推导出精确的有限组表达式，指出共享更新取决于胜负概率差而非期望奖励差，并给出错误方向区域与方差下限。结论表明仅凭边际输出有效性无法证明随机…
arXiv cs.LG38 天前
★ 2
精确策略优化：基因组工具选择的全组策略优化
论文指出在工具子集可枚举的专业科学场景中，GRPO 从少量采样估计动作期望存在结构性错配，训练越成功奖励信号越稀疏，基因组推理中无奖励信号问题比例从 0.2% 升至 20.8%。作者提出 FGPO，对全部工具子集打分并预计算奖励表，在 5 个冻结推理器与 3 个基因组基准的 15 种设置中平均提升…
arXiv cs.AI52 天前