★ 2
神经压缩新方法:利用等价类表示自由度压缩模型检查点
论文指出神经网络存在大量等价参数化,可将这种表示自由度用于压缩。方法在保持函数不变的变换与受控扰动空间中搜索更易压缩的表示,复用原有压缩器。在 SmolLM2 与 Qwen3 上,Zstandard 压缩检查点体积最多减少 23.4%,gzip、Brotli、ZipNN 下也有相近收益。
arXiv cs.LG6 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出神经网络存在大量等价参数化,可将这种表示自由度用于压缩。方法在保持函数不变的变换与受控扰动空间中搜索更易压缩的表示,复用原有压缩器。在 SmolLM2 与 Qwen3 上,Zstandard 压缩检查点体积最多减少 23.4%,gzip、Brotli、ZipNN 下也有相近收益。