★ 3
S-SALAAD：结构化稀疏让大模型单检查点弹性压缩并加速推理
论文提出统一框架 S-SALAAD，在训练中联合学习模型权重及其低秩与结构化稀疏分量，支持多种硬件友好的结构化稀疏模式，并配套预算感知压缩与专用 CPU/GPU 内核。在 Llama2 与 Qwen3 上的预训练与蒸馏实验显示，该方法在困惑度、内存与推理延迟的帕累托前沿上优于基线，使大模型可在边缘…
arXiv cs.LG7 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出统一框架 S-SALAAD，在训练中联合学习模型权重及其低秩与结构化稀疏分量，支持多种硬件友好的结构化稀疏模式，并配套预算感知压缩与专用 CPU/GPU 内核。在 Llama2 与 Qwen3 上的预训练与蒸馏实验显示，该方法在困惑度、内存与推理延迟的帕累托前沿上优于基线，使大模型可在边缘…
作者提出一种解耦的逐层结构化稀疏方法，对预训练网络的全连接层依次提取两层子网络、归一化内层权重并对每块外层权重施加结构化组惩罚，从而剪枝神经元、缩减层宽。理论上证明该解耦目标在最优处等价于特定联合惩罚，实验显示其比耦合方法更稳健，可用正则范围更宽、灾难性过度剪枝率更低，并在 OPT-1.3B 前馈…