★ 2
PhiBE-PI 用离散离策略数据实现连续时间 RL 端到端保证
论文基于 PhiBE-Q 提出无模型 PhiBE 策略迭代框架 PhiBE-PI，仅用单一状态-动作评论家并保持连续时间动作排序尺度，复用同一批离散时间数据。在线性函数近似下给出局部端到端次优性保证，并揭示采样间隔的偏差-方差权衡。
arXiv cs.LG11 天前
#离策略学习
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 1
正则化强调式时序差分学习的稳定性
论文构造两状态反例，说明ETD均值映射收缩但采样乘积具有正Lyapunov指数，并提出正则化强调式TD（RETD），通过泄漏标量状态存储强调信号并释放延迟修正。作者证明调和递减步长下的几乎必然收敛与常数步长的条件矩收缩，实验验证了稳定性分离与不动点恢复。
arXiv cs.AI45 天前