★ 2
图 Transformer 节点自适应深度聚合 AttnRes 提升长程图推理
论文指出标准残差流以固定系数累积各层计算，无法按节点重新加权中间贡献，可能造成深度聚合失配。作者将图 Transformer 残差计算形式化为节点级因果历史，提出注意力残差 AttnRes 实现节点自适应聚合，并用 Block AttnRes 降低长历史路由成本。在 GPS 与 GRIT 上实例化…
arXiv cs.LG9 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出标准残差流以固定系数累积各层计算，无法按节点重新加权中间贡献，可能造成深度聚合失配。作者将图 Transformer 残差计算形式化为节点级因果历史，提出注意力残差 AttnRes 实现节点自适应聚合，并用 Block AttnRes 降低长历史路由成本。在 GPS 与 GRIT 上实例化…