★ 3
Layerwise Repacking：混合注意力变长训练免重分配
论文提出 Layerwise Repacking，在混合注意力模型中保留 SP16/32 父组处理全注意力，将样本重打包进节点内 SP1/2/4/8 稀疏子组，并复用现有 Ulysses 通信点完成头部交换与重打包，避免额外重分配。在 1F3S 混合注意力模型前 200 步的 22 个步骤上，端到…
arXiv cs.LG5 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Layerwise Repacking，在混合注意力模型中保留 SP16/32 父组处理全注意力，将样本重打包进节点内 SP1/2/4/8 稀疏子组，并复用现有 Ulysses 通信点完成头部交换与重打包，避免额外重分配。在 1F3S 混合注意力模型前 200 步的 22 个步骤上，端到…