★ 4
Universal Attention：KV 缓存 25 倍压缩
arXiv 论文提出 Universal Attention 架构，用复合衰减机制统一并扩展基于衰减的 KV 缓存剪枝方法，保留 RoPE 与 Softmax 注意力。该机制充当自适应剪枝准则，在自然语言与合成任务上实现 10 倍压缩并提升下游性能，长上下文 16k 长度下达到 25 倍压缩。
arXiv cs.LG25 天前
#模型压缩
共 74 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
压缩三位一体：联合稀疏化、量化与低秩近似压缩LLM
传统压缩技术单独应用会遭遇精度-效率墙。提出“压缩三位一体”框架，联合应用稀疏化、量化和低秩近似。在预训练加速和训练后压缩中均取得显著效果，如SLiM方法在同等参数预算下比最先进方法精度提升5.66%，甚至超越未压缩的密集模型。
arXiv cs.AI68 天前
★ 3
研究用机制可解释性比较 GPT-2 与 DistilGPT-2 蒸馏后电路存留
论文用线性 CKA、logit lens、注意力模式分解、稀疏自编码器特征统计与激活修补，对比 GPT-2 与六层学生模型 DistilGPT-2 在 IOI 与 Greater-Than 两个电路上的差异。结果显示 IOI 电路完全机制崩塌（准确率 35.2% vs 94.8%），而 GT 电路…
arXiv NLP5 天前
★ 3
GS-MoE 提出免训练 MoE 压缩，DeepSeek-MoE 减参 60% 保留九成性能
论文提出免训练 MoE 压缩框架 GS-MoE，通过组内共享低秩子空间与基于 Nyström 的神经元压缩两条轴削减专家冗余。在 DeepSeek-MoE-16B-Base 上参数减少 60% 仍保留约 90% 推理性能，优于 D²-MoE 的 73%，并开源代码。
arXiv cs.LG7 天前
★ 3
TWIG：把神经网络每个权重表示为共享离散决策路径
论文提出 TWIG 权重表示，将每个权重写成由符号、二次幂移位、零门控与共享表索引组成的小型离散决策路径，上层决策被下层权重继承并只存储一次。该表示统一了剪枝、量化、低秩分解、码本与权重共享，并把决策选择转化为高阶玻尔兹曼机基态问题。在大模型五个权重矩阵上，3/4 比特下比 GPTQ 减少 9–1…
arXiv cs.LG7 天前
★ 3
S-SALAAD：结构化稀疏让大模型单检查点弹性压缩并加速推理
论文提出统一框架 S-SALAAD，在训练中联合学习模型权重及其低秩与结构化稀疏分量，支持多种硬件友好的结构化稀疏模式，并配套预算感知压缩与专用 CPU/GPU 内核。在 Llama2 与 Qwen3 上的预训练与蒸馏实验显示，该方法在困惑度、内存与推理延迟的帕累托前沿上优于基线，使大模型可在边缘…
arXiv cs.LG7 天前
★ 3
ProQuant：MoE 模型超低比特量化保专家质量
论文提出 ProQuant，面向混合专家（MoE）大模型的仅权重量化后训练框架，在极低比特预算下保持生成质量。方法包含联合优化专家剪枝与位宽分配的 PoP，以及通过等价变换补偿量化误差、抑制路由漂移的 RoCo 微调。实验显示其在多种生成任务上优于现有方法，代码已开源。
arXiv cs.AI10 天前
★ 3
LADDER 提出分层稀疏分配，提升 LLM 高稀疏度剪枝鲁棒性
论文提出 LADDER，按层逐步分配稀疏度，每步选择单位参数端到端退化最小的层更新，生成非均匀稀疏剖面与跨预算严格嵌套掩码。在 OPT、Llama、Qwen 五个模型 10%–90% 稀疏度上，LADDER 在低稀疏度与基线相当，但从 70% 起明显更稳健，后蒸馏后优势在五个模型中四个保留。
arXiv cs.LG11 天前
★ 3
研究用 16MB 冻结词表替代小模型嵌入表
论文将 Gemma 3 270M 的可训练嵌入表替换为 16MB、512 位码的冻结词表，在相同 token 上从零训练同构模型。冻结表模型在 LAMBADA、HellaSwag、PIQA 上不劣于学习表，配合三值 BitNet b1.58 主干后整模型仅 46MB，笔记本 CPU 上生成速度达浮…
arXiv NLP14 天前
★ 3
研究：量化模型校准增益可在不同表示间复用
论文研究同一预训练模型不同表示之间能否复用尺度校准学到的更新，方法为提取正向分组增益并直接写入接收方权重或原生量化尺度，无需接收方优化，且保持整数编码、零点与存储布局不变。在 Qwen3-1.7B 浮点/GPTQ INT3 组合上，双向迁移保留 76.9%–90.5% 的文本损失改善；打乱增益分组…
arXiv cs.LG14 天前
★ 3
arXiv 论文：AbridgeKV 将长推理压缩进 KV 缓存
AbridgeKV 通过训练模型把已生成文本块压缩为少量学习到的暂停 token 的 KV 条目，从而释放原始缓存。在 AIME 等 446 道竞赛题上，保留四分之一缓存即可匹配全 KV 模型精度与输出长度。在 vLLM 中部署后每序列缓存缩小 3.5 倍，H100 完成问题快 3.2 倍。
arXiv NLP17 天前
★ 3
arXiv 论文提出 Spectral-MoE：逐层异构专家利用率
论文提出 Spectral-MoE，在稠密到 MoE 转换中按层异构分配专家利用率预算，而非各层固定相同激活专家数。方法包含静态（每层标量）与动态（每 token 调度）两种分配器。在 Llama-2-7B、Llama-3-8B、Qwen2.5-7B 上，动态分配在 25% FFN 利用率下显著降…
arXiv cs.LG18 天前
★ 3
Multi-Ratio ConceptMoE 支持多计算预算灵活分配
论文提出 Multi-Ratio ConceptMoE，在共享骨干内联合支持 2、4、8 三种 token 到概念压缩比。在 PTBench 与 SFTBench 上三种固定模式均优于计算量匹配的 MoE 基线，混合比推理在 CodeChat 与 CoSQL 上提升准确率并降低 FLOPs。
arXiv cs.LG19 天前
★ 3
SAGE：2 比特向量量化 LLM 逼近可用
论文提出 SAGE 权重向量量化方法，用能量分层分组（ESG）保护敏感权重通道，用自适应比特拆分（ABS）在固定比特预算下平衡方向码本与半径精度。在 2 比特设置下达到 SOTA，Qwen3-30B-A3B 保留 BF16 平均基准分的 95.3%，配合定制 CUDA 内核较 FP16 端到端加速…
arXiv cs.AI19 天前
★ 3
Boole-1.7B 开源：1-bit 量化模型超越 Bonsai-1.7B
开发者发布 Boole-1.7B，这是 Qwen3-1.7B 的 1-bit 量化版本，仅 247MB，体积缩小 13.9 倍，保留 BF16 性能的 85.9%。该模型在性能上超越 1-bit 的 Bonsai-1.7B 和同规模 LFM 模型，接近 1.58-bit 的 Bonsai-1.7B…
Hacker News – LLM20 天前
★ 3
Kronecker 乘积注意力：结构化分解压缩 KV 缓存
论文提出 Kronecker Product Attention（KPA），将键值激活表示为紧凑、依赖 token 的矩阵因子之 Kronecker 乘积和。KPA 严格泛化 TPA，并配合结构化旋转嵌入保持 RoPE 相对位置性质。在四个模型规模、九个下游基准上匹配或超越 MHA、MQA、GQA…
arXiv cs.LG21 天前
★ 3
arXiv 论文提出 Semi-OPD：离线学生轨迹蒸馏常优于在线策略蒸馏
一篇新 arXiv 论文质疑在线策略蒸馏（OPD）是否总优于其他方案，提出 Semi-OPD——用初始学生模型生成的离线轨迹进行蒸馏。在 17 组师生模型对（1.5B 至 235B 参数）中，Semi-OPD 在 14 组上优于 OPD，最高提升 13.6% 准确率并实现 11.4 倍训练加速。研…
arXiv NLP24 天前
★ 3
KDFP：大模型通用知识蒸馏新方法
论文提出 KDFP，一种面向大语言模型的白盒通用知识蒸馏方法，弥补以往只蒸馏指令跟随、思维链等后训练能力的空白。在 9 个基准上比现有方法提升 1.6%–4.9%，并通过临时参数削减将训练效率最高提升 99.1%，有助于边缘设备上的高效私有部署。
arXiv cs.LG24 天前
★ 3
研究提出 Harness Compilation 优化小视觉语言模型分工
论文提出 Harness Compilation（HC），离线调整冻结小 VLM 与外部 harness 的工作分工，教师模型利用学生执行轨迹修订可复用内容与控制。在七个 VQA 设置、学生参数不超过 9B 下，HC 比裸学生提升 9.9-23.9 分，且部署无需权重更新或教师调用。
arXiv cs.AI24 天前
★ 3
三星开源 LittleBit：亚 1 比特 LLM 压缩
三星研究院发布 LittleBit 与 LittleBit-2 的官方实现，通过潜在因子分解将 LLM 权重压缩至亚 1 比特（最低 0.1 bits-per-weight），同时保持原始模型架构。LittleBit-2 引入 Joint-ITQ 初始化，改善潜在几何对齐，且不增加推理开销。
Hacker News – LLM24 天前
★ 3
OnlineQAT：超低位宽 LLM 的在线策略蒸馏
研究者提出 OnlineQAT，一个两阶段框架，先通过分块 QAT 获得可用的低位初始化，再在学生生成的响应上进行在线策略蒸馏。在 Qwen3-1.7B 上，OnlineQAT 在 W3A16 与 W2A16 下取得对比方法中最佳平均分，分别比 ReasoningQAT 提升 2.90 和 0.4…
arXiv NLP25 天前
★ 3
Q-PACE：量化感知训练动态精度分配
arXiv 论文提出 Q-PACE，用二阶敏感度模型预测量化噪声带来的损失增量，训练中周期性重算逐层曲率系数并重新分配精度。在最高 4B 参数 LLM 的预训练和监督微调中持续优于现有混合精度方案，在显著更低内存预算下达到相当损失。
arXiv cs.LG25 天前
★ 3
SNACK：GPU 上真正稀疏的神经网络层
论文提出 SNACK，一种真正稀疏的 GPU 层，只存储与计算非零连接，并提供简洁的 PyTorch API 支持稀疏范式下的梯度反向传播。其配套 SNACK-COO 定制 COO 格式 SpMM CUDA 内核针对小批量、高稀疏场景优化。在 90% 稀疏度下单层训练提速 8 倍、推理提速 4 倍…
arXiv cs.LG27 天前
★ 3
LLM 压缩的能力缩放下降定律
论文系统研究剪枝、量化与蒸馏三类 LLM 压缩方法的能力缩放下降规律，在数学、代码生成与问答任务上测量能力损失，并关联模型规模、训练阶段、压缩配置与数据可用性。作者提出简洁预测关系，可将剪枝预测器拟合所需配置测量量减半，并在新模型状态上保持精度。研究还评估了这些预测在压缩方法选择中的决策价值。
arXiv cs.LG28 天前
★ 3
MoRA：基于路由偏置学习的 MoE 剪枝
针对混合专家模型部署时显存占用大的问题，论文提出 MoRA 结构化专家剪枝框架。它为每个专家引入可学习路由偏置，通过最小化语言建模损失与路由多样性正则来识别关键专家，并加入专家近似机制用剩余专家拟合被剪枝专家的输出。在 Qwen3-30B-A3B、DeepSeek-V2-Lite、Moonligh…
arXiv cs.LG31 天前
★ 3
OPAL：在线策略注意力线性化蒸馏
论文提出 On-Policy Attention Linearization（OPAL），让混合注意力学生模型自行采样长上下文轨迹，并由冻结的全注意力教师提供密集监督，解决离线蒸馏在长序列上误差累积的问题。在 Qwen3-4B 与 MiMo-7B-RL-0530 上，仅用 3B 训练 token …
arXiv cs.LG34 天前
★ 3
RAZOR：剪枝大模型中的可替换专家
论文提出 RAZOR，一种免训练的 MoE 专家剪枝方法，通过共识残差评估专家的功能可替换性，而非仅看使用频率或贡献幅度。在 GLM-4.7-Flash、Qwen3.6-35B-A3B、DeepSeek-V4-Flash-0731 与 Hy3 上，25% 与 50% 剪枝率下均取得九任务宏平均最优…
arXiv cs.LG35 天前
★ 3
LastOPD：解决潜在在线策略蒸馏的崩溃问题
论文发现在将 Qwen3-4B/8B 蒸馏到 Qwen3-1.7B-Base 时，潜在监督会出现「早期增益、后期崩溃」现象，且对齐指标越好性能反而越差。作者提出 LastOPD，仅在最后一层状态施加潜在信号，并在 10 步内过渡到 token 级在线策略蒸馏。实验显示 MATH-500 分别提升 …
arXiv cs.LG38 天前
★ 3
论文提出抗量化遗忘的LLM反学习框架
论文指出 LLM 量化后遗忘效果会显著减弱，并从损失景观曲率角度定位导致遗忘不鲁棒与效用下降的敏感权重。提出敏感度引导的噪声正则化与遗忘关键层优化，在 MUSE 与 TOFU 基准上实现更强的量化抗遗忘能力，同时保持模型效用。
arXiv cs.LG39 天前
★ 3
NGN：将神经网络规模作为可微计数来学习
论文提出神经发生网络（NGN），用可学习边界为每组有序结构组件选择激活前缀，使网络规模在训练中直接作为可微计数被优化。该方法在 MLP、卷积、图网络、Transformer、状态空间模型、LoRA 与适配器上验证，部署学习到的前缀通常性能损失很小。
arXiv cs.LG39 天前