arXiv cs.LG·35 天前★ 2

QSV：球面格上的四元数注意力

原文标题：QSV: Quat-Sphere-Vision for Coupled Quaternion Attention on Spherical Lattices

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出 Quat-Sphere-Vision（QSV），用每个 token 的单一学习单位四元数替代标准注意力的 Q/K/V 三投影，相对四元数同时提供注意力 logit 与特征传输。消融显示传输通道承担了几乎全部学习到的成对计算，而注意力权重本身影响甚微。参数匹配对照表明，标准注意力在同一图上反而略优于 QSV。

论文速读 · 四段结构cs.CV去论文速读 →

问题: 标准注意力用Q/K/V三组投影，能否用单一四元数同时承担注意力与特征传输。
方法: QSV用每个token一个学习单位四元数，相对四元数同时给出注意力logit与三明治积特征传输，消息在同心Fibonacci球面kNN图上传递。
结果: 去掉传输在CIFAR-10/100掉约4个百分点，注意力权重改均匀平均几乎无影响；参数匹配下标准注意力同图87.3%优于QSV的85.9%，平面2D格点达91.1%
影响: 表明该几何设计收益主要来自传输通道而非注意力，标准注意力仍是更稳的默认选择。