★ 2
QSV：球面格上的四元数注意力
论文提出 Quat-Sphere-Vision（QSV），用每个 token 的单一学习单位四元数替代标准注意力的 Q/K/V 三投影，相对四元数同时提供注意力 logit 与特征传输。消融显示传输通道承担了几乎全部学习到的成对计算，而注意力权重本身影响甚微。参数匹配对照表明，标准注意力在同一图上…
arXiv cs.LG35 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Quat-Sphere-Vision（QSV），用每个 token 的单一学习单位四元数替代标准注意力的 Q/K/V 三投影，相对四元数同时提供注意力 logit 与特征传输。消融显示传输通道承担了几乎全部学习到的成对计算，而注意力权重本身影响甚微。参数匹配对照表明，标准注意力在同一图上…