★ 3
多保真策略梯度稳定数据稀缺强化学习
论文将多保真策略梯度（MFPG）扩展到现代 actor-critic 学习，提出 MFPG-PPO，通过重设计采样、优势估计与控制变量构造来保持跨保真相关性，并监控估计器不确定性以防方差膨胀。在多种机器人运动任务中，MFPG-PPO 几乎全面优于仅用高保真数据的 PPO，在最难任务上以最少高保真预…
arXiv cs.LG28 天前
#策略梯度
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
EPIG-Tree：梯度高效强化学习的计算最优分支
论文将树状 rollout 构建视为策略梯度估计的计算分配问题，提出 EPIG-Tree 评分，主张分支应放在能最大程度降低策略梯度不确定性的位置，而非仅凭策略不确定处。方法在克隆状态控制中降低梯度 MSE，在 13 个连续控制环境中全部胜出，并在多轮 Wordle 在线任务中取得 0.850 最…
arXiv cs.LG45 天前
★ 3
CellRFT：单细胞扰动建模强化微调
针对现有单细胞扰动模型优化代理损失、与生物学评价标准脱节的问题，论文提出 CellRFT 强化微调框架，将生物学评价直接作为训练反馈。该方法用策略梯度优化从生成细胞群的非可微评价中学习，并通过分层奖励聚合整合多种生物学奖励。实验表明 CellRFT 可适配不同预训练模型并提升扰动预测效果，同时揭示…
arXiv cs.LG45 天前
★ 2
arXiv 提出历史重参数化策略梯度降低方差
论文指出自回归序列模型的策略梯度固定条件历史，丢弃早期决策对后续分布的影响，造成稀疏奖励下的信用分配瓶颈。作者提出历史重参数化（HR）策略梯度，并推导最优 HR（OHR）中心化控制变量估计器。实验显示嵌入级松弛可随序列长度显著降方差，并在 TSP 等任务上验证。
arXiv cs.LG13 天前
★ 2
多智能体博弈：训练团队报告不安全任务
论文研究共享奖励下智能体报告不安全工作的学习问题，给出审计条件使精确策略梯度更新可达到普遍报告。在24个见证图上训练PPO，分离共同见证者使不安全完成率降低33.59个百分点。
arXiv cs.AI25 天前
★ 2
最小见证强化学习 MWRL 提出
论文将「找出充分产生结果的最小条件」形式化为最小见证识别问题，并提出最小见证强化学习（MWRL）。MWRL 通过信用分配机制，从单一黑盒验证器比特中同时满足最小性与多解恢复的需求，并推导出值迭代规划器与可扩展至大模型的策略梯度方法。实验显示 MWRL 能恢复大多数最小见证，而其他方法只返回冗余超集…
arXiv cs.LG26 天前
★ 2
混合梯度实现语言模型的原则性Top-k选择
该论文针对大语言模型系统中Top-k选择模块（如RAG文档筛选、MoE专家路由）训练困难的问题，提出了一种原则性目标函数，其梯度天然包含监督梯度与策略梯度两种成分。作者证明选择问题随候选数m增大而变难，算法以O(1/√T)速率收敛，并在合成回归、RAG和MoE任务上取得优于基线的困惑度与问答准确率。
arXiv cs.LG27 天前
★ 1
连续延迟记忆 SGD 与连续时间强化学习
论文回顾了用神经网络参数化随机微分方程（SDE）建模类星体光变曲线的历史。作者提出连续延迟记忆随机梯度下降（CDM-SGD），依赖离散迭代过程的过去状态，在二维景观上展现出更广探索与更精确收敛。同时提出无需解 HJB 偏微分方程的连续时间策略梯度强化学习结构。
arXiv cs.LG42 天前