★ 3
论文提出 J-BI:用雅可比透镜加权改进 Transformer 深度剪枝
arXiv 论文针对深度剪枝中 Block Influence 判据的局限,提出用 Jacobian Lens 将层内扰动映射到最终残差流,形成 J-BI 打分。在 Qwen3-8B、Llama-3.1-8B-IT 与 Gemma-3-12B-IT 上,同等稀疏度下剪枝后准确率最高提升 19 个百…
arXiv cs.LG10 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
arXiv 论文针对深度剪枝中 Block Influence 判据的局限,提出用 Jacobian Lens 将层内扰动映射到最终残差流,形成 J-BI 打分。在 Qwen3-8B、Llama-3.1-8B-IT 与 Gemma-3-12B-IT 上,同等稀疏度下剪枝后准确率最高提升 19 个百…