★ 3
PolicyAttention：Softmax 注意力实现策略镜像下降
论文探讨因果 softmax 注意力能否作为重复控制器实现策略镜像下降（PMD），而非仅一步代数恒等式。作者构建了固定的因果 softmax 演员-环境-单步评论家协议，并证明单独训练的 pre-LN Transformer 可在经验上恢复目标计算。在预注册的重复控制测试中，学习到的演员配合精确单…
arXiv cs.LG35 天前
#策略镜像下降
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
平均奖励MDP中策略镜像下降的收敛与样本复杂度
该论文针对遍历性平均奖励马尔可夫决策过程（MDP），给出了策略镜像下降（PMD）的有限时间、有限样本分析。作者构建了一个统一的递推框架，适用于任意评论家（critic），无需外部正则化，并推导出精确、非精确表格及线性函数逼近（LFA）下的线性收敛速率。其LFA样本复杂度将此前最优的混合时间依赖从 …
arXiv cs.LG27 天前