★ 3
arXiv 论文：泰勒展开实现线性时间 Transformer
论文将注意力指数核展开为 n 项截断泰勒级数，并分解为张量幂内积，把因果历史压缩为恰好 n 个循环状态，与上下文长度无关。在 N=8192 时速度提升 20.8 倍，N=65536 时解码延迟提升 76 倍。
arXiv cs.LG17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将注意力指数核展开为 n 项截断泰勒级数，并分解为张量幂内积，把因果历史压缩为恰好 n 个循环状态，与上下文长度无关。在 N=8192 时速度提升 20.8 倍，N=65536 时解码延迟提升 76 倍。