★ 3
Stiefel 注意力：投影矩阵几何主导优化器选择
论文将注意力中的查询与键投影约束到 Stiefel 流形，并用黎曼 Adam 优化，证明该更新在嵌入度量下为最速下降、与梯度尺度无关且良态。关键机制是权重衰减在 Stiefel 流形上黎曼梯度恒为零，使学到的注意力几何在模型其余部分的坍缩周期中得以保留。在模运算 grokking 任务上单次运行 …
arXiv cs.LG45 天前
#黎曼优化
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 1
Hadamard流形分布式在线优化的曲率无关遗憾界
论文研究Hadamard流形上的去中心化在线黎曼优化，针对horospherical凸函数放宽了此前对截面曲率下界的依赖。提出分布式黎曼在线梯度下降（D-ROGD），结合局部h-次梯度更新与隐式Fréchet均值共识，分别取得O(√T)与O(log T)的静态遗憾界，网络依赖仅由谱隙决定。这是首个…
arXiv cs.LG48 天前
这个主题的相关资产
相关公司xAI1