★ 2
arXiv 提出可微重启策略学习优化器重启规则
自适应重启对加速一阶优化方法效果关键,但现有规则几乎全靠手工设计,离散重启事件导致轨迹不可微。作者通过连续时间极限构建可微重启框架,为重启事件与优化轨迹引入代理梯度并证明收敛。在二次与线性规划上超越手工重启准则,并可从合成二次问题零样本迁移到真实数据逻辑回归。
arXiv cs.LG9 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
自适应重启对加速一阶优化方法效果关键,但现有规则几乎全靠手工设计,离散重启事件导致轨迹不可微。作者通过连续时间极限构建可微重启框架,为重启事件与优化轨迹引入代理梯度并证明收敛。在二次与线性规划上超越手工重启准则,并可从合成二次问题零样本迁移到真实数据逻辑回归。