★ 2
QSV：球面格上的四元数注意力
论文提出 Quat-Sphere-Vision（QSV），用每个 token 的单一学习单位四元数替代标准注意力的 Q/K/V 三投影，相对四元数同时提供注意力 logit 与特征传输。消融显示传输通道承担了几乎全部学习到的成对计算，而注意力权重本身影响甚微。参数匹配对照表明，标准注意力在同一图上…
arXiv cs.LG35 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Quat-Sphere-Vision（QSV），用每个 token 的单一学习单位四元数替代标准注意力的 Q/K/V 三投影，相对四元数同时提供注意力 logit 与特征传输。消融显示传输通道承担了几乎全部学习到的成对计算，而注意力权重本身影响甚微。参数匹配对照表明，标准注意力在同一图上…
论文针对稀缺数据下学习稀疏图的问题，受扩展图兼具局部稀疏与强全局连通特性的启发，提出谱连通性正则化图学习框架 SCoGL。该方法在组合拉普拉斯约束的 GLASSO 目标上加入由拉普拉斯特征值计算的连通性先验，推导了多种先验的梯度并设计带 Armijo 回溯的投影梯度下降算法。实验显示其变体改善了图…