★ 3
Stiefel 注意力：投影矩阵几何主导优化器选择
论文将注意力中的查询与键投影约束到 Stiefel 流形，并用黎曼 Adam 优化，证明该更新在嵌入度量下为最速下降、与梯度尺度无关且良态。关键机制是权重衰减在 Stiefel 流形上黎曼梯度恒为零，使学到的注意力几何在模型其余部分的坍缩周期中得以保留。在模运算 grokking 任务上单次运行 …
arXiv cs.LG45 天前
#流形学习
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
新方法在学得数据流形上实现连续时间生成
该论文提出将时间相关数据的生成建模从离散时间网格转为学习数据流形上的连续时间演化。方法利用预训练分数模型作为几何先验，学习沿分数诱导插值路径演化的向量场，从而支持任意时间戳生成与时间超分辨率。研究在自然视频、PDE时空场和分子动力学等任务上验证了有效性。
arXiv cs.LG46 天前
★ 2
SR-tSNE 提出保序流形学习新方法
论文指出 t-SNE、UMAP 等流形学习方法只保留邻域集合而不保留邻域内排序，提出 Smooth Rank t-SNE（SR-tSNE），在标准损失中加入可微排序项。在八类基准上优于 12 个基线，并提升标签迁移与单细胞类型发现等下游任务表现。
arXiv cs.AI2 小时前
★ 2
QiYao-I：不规则多元时间序列基础模型
论文提出QiYao-I，一种面向不规则多元时间序列预测的流形基础模型。方法引入采样条件时间流形注意力机制，将真实时间戳映射到可学习的时间流形特征空间并注入注意力层，同时提出频率感知的动态变量交互机制。在真实不规则多元预测基准上，QiYao-I优于时间序列基础模型与端到端不规则预测模型，在零样本与少…
arXiv cs.LG26 天前
★ 1
Hadamard流形分布式在线优化的曲率无关遗憾界
论文研究Hadamard流形上的去中心化在线黎曼优化，针对horospherical凸函数放宽了此前对截面曲率下界的依赖。提出分布式黎曼在线梯度下降（D-ROGD），结合局部h-次梯度更新与隐式Fréchet均值共识，分别取得O(√T)与O(log T)的静态遗憾界，网络依赖仅由谱隙决定。这是首个…
arXiv cs.LG48 天前
这个主题的相关资产
相关公司xAI1