★ 3
研究证明 Transformer 可精确编译为通用深度神经网络
论文证明含注意力、LayerNorm 与 GELU MLP 的每个 Transformer 块都能精确编译为通用深度神经网络，并分析去掉「激活-激活乘积」操作的代价。研究还给出 top-k 注意力的无偏尾部质量估计与基于聚类的注意力加速方法，在 DeiT-Tiny、Pythia-70M 等模型上编…
arXiv cs.LG11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文证明含注意力、LayerNorm 与 GELU MLP 的每个 Transformer 块都能精确编译为通用深度神经网络，并分析去掉「激活-激活乘积」操作的代价。研究还给出 top-k 注意力的无偏尾部质量估计与基于聚类的注意力加速方法，在 DeiT-Tiny、Pythia-70M 等模型上编…