★ 3
凸-凹强化学习：突破策略优化非凸难题
论文证明在 log 密度比坐标下，策略学习的精确每轮目标（可用 PDIS 计算）是差分凸约束的差分凸规划，从而将 CPI、NPG、TRPO、AWR 统一为特例，并开启耦合连续决策的多步轴。作者用序列凸规划求解并给出收敛保证，多步 CCRL 在需跨时间传播信用的诊断 MDP 上占优，在医疗场景中训练…
arXiv cs.LG25 天前
#PPO
共 13 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
RLDiscover：LLM驱动强化学习算法自进化
论文提出RLDiscover框架，实现无模型深度强化学习算法的自进化，通过渐进式协同进化与渐进式概率评估平衡搜索广度与评估保真度。在SAC、PPO、DQN及四个基准套件上平均回报中位数提升32%-84%，峰值回报比约363倍。
arXiv cs.AI25 天前
★ 3
帕累托占优澄清：PPO-拉格朗日预算约束后训练编码模型
论文将编码智能体的澄清提问建模为约束马尔可夫决策过程，用 PPO-拉格朗日对 Qwen2.5-Coder-7B-Instruct 进行后训练，在期望提问预算约束下优化编码准确率。在 HumanEvalComm 上，预算约束策略可同时实现更高准确率与更低澄清率，呈现对数形帕累托前沿，且模型学会在更难…
arXiv cs.LG27 天前
★ 3
多保真策略梯度稳定数据稀缺强化学习
论文将多保真策略梯度（MFPG）扩展到现代 actor-critic 学习，提出 MFPG-PPO，通过重设计采样、优势估计与控制变量构造来保持跨保真相关性，并监控估计器不确定性以防方差膨胀。在多种机器人运动任务中，MFPG-PPO 几乎全面优于仅用高保真数据的 PPO，在最难任务上以最少高保真预…
arXiv cs.LG28 天前
★ 3
ViperQ：用拍卖市场理论做订单流模式识别的强化学习交易系统
研究提出ViperQ强化学习交易系统，其状态表示显式构建自拍卖市场理论原语（成交量控制点、价值区位置、低成交量节点、累计成交量差背离等），组成20维向量。采用前景理论非对称奖励训练PPO智能体，在未见过的机构tick数据上实现TSLA +163.6%、NVDA +116.5% ROI（零杠杆）。
arXiv cs.AI48 天前
★ 2
研究提出相对动作信用学习帮助 PPO 逃离局部最优
arXiv 论文将 PPO 在长时程接触密集任务上的停滞归因于状态价值评论家缺乏动作区分能力。作者为 PPO 增加动作条件价值评论家，可在同一状态比较已执行动作与采样替代动作，并结合广义优势估计与探索噪声约束。实验显示扩展算法能在同等探索下完成 PPO 失败的精确插销任务。
arXiv cs.LG3 天前
★ 2
arXiv 论文提出 RePPO：用排斥种群策略梯度实现行为多样强化学习
论文提出排斥种群策略优化 RePPO，将 PPO 适配为用种群相关动态奖励联合优化紧凑的多样化高质量策略种群，避免依赖昂贵的进化算子。在连续控制任务上取得良好质量—多样性权衡，并首次将质量多样性强化学习扩展到像素输入与大语言模型微调。
arXiv cs.LG5 天前
★ 2
arXiv 论文：在策略强化学习中探索与可塑性丧失的关联
论文分析深度强化学习中的可塑性丧失（LoP）现象，聚焦各向同性高斯策略下的 PPO。作者提出多个刻画策略标准差 σ 对 LoP 影响的指标，并为常见缓解技术给出解释。实验包含标准基线对比与 7 自由度机械臂真实部署验证。
arXiv cs.LG5 天前
★ 2
论文提出 DMDP 框架稳定强化学习状态分布
论文提出基于差异的马尔可夫决策过程（DMDP），将策略作用于当前状态分布并以与目标分布的差异为目标，学习能稳定状态分布的策略。研究给出最优策略使目标分布渐近稳定的充分条件，并推导学习与估计误差对稳定性保证的影响。方法在 PPO 与 SAC 上实现，并在 HalfCheetah 任务上验证分布反馈的…
arXiv cs.LG11 天前
★ 2
论文统计评估深度强化学习用于 HPC 作业调度
论文系统比较 PPO、A2C、DQN 六种深度强化学习方案（含与不含动作掩码）在两种真实 Slurm 负载上的 HPC 作业调度表现。结果显示同构负载上掩码 DRL 相对随机对照无显著提升，异构负载上 MaskablePPO 三项指标均优于对照，最大有界减速比 LCFS 低 22%，但与其他掩码方…
arXiv cs.AI17 天前
★ 2
基于复数记忆的强化学习
论文重新审视酉循环网络（uRNN），其在复向量空间中表达循环与隐状态，保范酉动力学有利于长序列信息传播。作者提出三种 uRNN 变体作为循环 PPO 架构的即插即用替代，并探索保留复数隐状态相位信息的相位感知策略。在 rocksample、Craftax 等任务上奖励达基线的 2-3 倍，为部分可…
arXiv cs.LG32 天前
★ 2
REFINEPPO：迭代动作精炼的连续控制策略
论文提出迭代动作精炼（IAR），通过一系列学习到的残差修正逐步构造控制动作，共享精炼网络反复以状态与当前动作提案为条件进行修订。将其与 PPO 结合得到 REFINEPPO，在 14 个基准控制任务上匹配或超越标准 PPO，并在多个任务上收敛更快，同时给出精炼深度与更新调度的消融分析。
arXiv cs.LG42 天前
★ 1
GRU-DEPPO：多无人机边缘网络缓存新算法
论文针对无人机内容缓存中的截止时间、通信能耗与机间能耗不均问题，提出规则式 DE-UBAC 与基于 GRU 和 PPO 的 GRU-DEPPO 算法。仿真显示 GRU-DEPPO 将截止时间错过率降低约 61%、机间能耗不均衡降低约 40%。
arXiv cs.LG10 天前