★ 3
TuBA：多维序列建模的 Tucker 瓶颈注意力
论文提出 Tucker 瓶颈注意力（TuBA），利用低秩张量结构实现高效全局 token 混合，将隐藏张量投影到紧凑 Tucker 核心上做多头注意力。在视频预测和全球天气预报上，它比标准自注意力最多降低 24.7% 和 37.1% 误差，计算量减少 66.6% 和 85.1%。
arXiv cs.LG25 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Tucker 瓶颈注意力（TuBA），利用低秩张量结构实现高效全局 token 混合，将隐藏张量投影到紧凑 Tucker 核心上做多头注意力。在视频预测和全球天气预报上，它比标准自注意力最多降低 24.7% 和 37.1% 误差，计算量减少 66.6% 和 85.1%。