★ 2
双层优化非凸下层需二阶平稳性
现有双层优化研究多局限于下层强凸或凸的假设，难以覆盖实际机器学习问题。论文提出基于二阶平稳性的替代重构方法，并给出 PROBE 算法，可探测并逃离下层鞍点。理论上首次在一般下层非凸设定下证明达到下层二阶平稳解的有限时间收敛率 O(T^{-2/5})，在大模型数据筛选与元学习任务上优于现有方法。
arXiv cs.LG35 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
现有双层优化研究多局限于下层强凸或凸的假设，难以覆盖实际机器学习问题。论文提出基于二阶平稳性的替代重构方法，并给出 PROBE 算法，可探测并逃离下层鞍点。理论上首次在一般下层非凸设定下证明达到下层二阶平稳解的有限时间收敛率 O(T^{-2/5})，在大模型数据筛选与元学习任务上优于现有方法。