★ 3
图 Transformer 为何不关注同一 token？
研究发现 SoTA 图 Transformer GRIT 在分子上很少形成注意力汇，且训练图越大汇越少，与 LLM 趋势相反。理论上图的对称性与局部性限制节点可接收的注意力，但分子上真正阻止汇的是注意力评分函数：将 GRIT 的门控 logit 换成点积，汇率从 0.09 升至 0.68。
arXiv cs.LG18 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究发现 SoTA 图 Transformer GRIT 在分子上很少形成注意力汇，且训练图越大汇越少，与 LLM 趋势相反。理论上图的对称性与局部性限制节点可接收的注意力，但分子上真正阻止汇的是注意力评分函数：将 GRIT 的门控 logit 换成点积，汇率从 0.09 升至 0.68。