★ 2
模型铸造与低参数门控：实现更稀疏激活的前馈网络
论文提出「模型铸造」（model casting）这一中期训练方法，通过大幅稀疏化前馈网络（FFN）激活，在推理时先计算门控矩阵输出，利用其高稀疏性跳过另外两个矩阵的计算，最多减少 3 倍 FLOP。作者进一步提出 LoPA Gating，一种低 FLOP 的门控矩阵参数化设计，突破 3 倍加速上…
arXiv cs.LG34 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出「模型铸造」（model casting）这一中期训练方法，通过大幅稀疏化前馈网络（FFN）激活，在推理时先计算门控矩阵输出，利用其高稀疏性跳过另外两个矩阵的计算，最多减少 3 倍 FLOP。作者进一步提出 LoPA Gating，一种低 FLOP 的门控矩阵参数化设计，突破 3 倍加速上…