#时序差分

正则化强调式时序差分学习的稳定性

论文构造两状态反例，说明ETD均值映射收缩但采样乘积具有正Lyapunov指数，并提出正则化强调式TD（RETD），通过泄漏标量状态存储强调信号并释放延迟修正。作者证明调和递减步长下的几乎必然收敛与常数步长的条件矩收缩，实验验证了稳定性分离与不动点恢复。