★ 2
Adam 与自然梯度下降的几何距离
论文将 Adam 的完整更新规则（含动量）视为对角经验 Fisher 近似，用尺度不变度量衡量其与真实自然梯度下降的几何偏差。结果显示偏差在病态条件下显著增大，但 Adam 仍能收敛到低损失，其有效性或来自结构近似误差与动量平滑的平衡。
arXiv cs.LG31 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将 Adam 的完整更新规则（含动量）视为对角经验 Fisher 近似，用尺度不变度量衡量其与真实自然梯度下降的几何偏差。结果显示偏差在病态条件下显著增大，但 Adam 仍能收敛到低损失，其有效性或来自结构近似误差与动量平滑的平衡。
论文从占用空间（occupancy space）视角重新审视逆强化学习中的奖励更新，指出沿 e-测地线趋向最优占用的几何直接影响奖励参数空间的 IRL 对偶梯度。据此提出用占用轨迹上的平均 Fisher 信息预条件对偶梯度，得到近似自然梯度的更新，并从镜像下降角度分析其收敛性。