★ 2
arXiv 论文提出几何感知双层优化方法 BiMuon
针对现有随机双层优化把矩阵梯度展平、忽略矩阵结构的问题，论文提出 BiMuon，将隐式超梯度估计与 Muon 式正交化矩阵更新结合，是首个具备 O(ε^{-4}) 迭代复杂度保证的此类方法。作者还研究分块对角近似与步长分配规则，在表示学习与分块双层优化任务上给出实证支持。
arXiv cs.LG5 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对现有随机双层优化把矩阵梯度展平、忽略矩阵结构的问题，论文提出 BiMuon，将隐式超梯度估计与 Muon 式正交化矩阵更新结合，是首个具备 O(ε^{-4}) 迭代复杂度保证的此类方法。作者还研究分块对角近似与步长分配规则，在表示学习与分块双层优化任务上给出实证支持。