★ 2
双层优化非凸下层需二阶平稳性
现有双层优化研究多局限于下层强凸或凸的假设，难以覆盖实际机器学习问题。论文提出基于二阶平稳性的替代重构方法，并给出 PROBE 算法，可探测并逃离下层鞍点。理论上首次在一般下层非凸设定下证明达到下层二阶平稳解的有限时间收敛率 O(T^{-2/5})，在大模型数据筛选与元学习任务上优于现有方法。
arXiv cs.LG35 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
现有双层优化研究多局限于下层强凸或凸的假设，难以覆盖实际机器学习问题。论文提出基于二阶平稳性的替代重构方法，并给出 PROBE 算法，可探测并逃离下层鞍点。理论上首次在一般下层非凸设定下证明达到下层二阶平稳解的有限时间收敛率 O(T^{-2/5})，在大模型数据筛选与元学习任务上优于现有方法。
论文指出许多学习系统在有效输出集非凸或断开时仍返回单点估计，导致贝叶斯最优条件均值无效，称之为条件均值坍缩。提出Settling平衡推理算子，分离提议生成、一致性评估与测试时平衡选择。在几何诊断中成功率达99/100，而均值搜索基线为0/100。