★ 3
LLM 压缩的能力缩放下降定律
论文系统研究剪枝、量化与蒸馏三类 LLM 压缩方法的能力缩放下降规律，在数学、代码生成与问答任务上测量能力损失，并关联模型规模、训练阶段、压缩配置与数据可用性。作者提出简洁预测关系，可将剪枝预测器拟合所需配置测量量减半，并在新模型状态上保持精度。研究还评估了这些预测在压缩方法选择中的决策价值。
arXiv cs.LG28 天前
#剪枝
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
PRIME：面向 MoE 的频率感知统一剪枝与合并
论文提出 PRIME，一个 MoE 压缩的统一优化框架，将离散的剪枝-合并分配建模为频率加权目标下的全局整数线性规划，联合决策并考虑专家使用频率。在 Qwen3-30B-A3B 与 Qwen3.5-122B-A10B 上，PRIME 在知识、代码、数学与长上下文任务中保持较高精度，并在 vLLM …
arXiv cs.LG19 天前
★ 2
SHarP：基于显著性的智能体框架剪枝
论文将神经网络剪枝思想引入智能体框架，提出SHarP（基于显著性的框架剪枝），通过逐个禁用工具、指令与支撑机制模块，评估其对任务性能与token成本的影响，剪除贡献最小或开销最大的模块。在多个框架的留出验证集上发现，多数框架高度冗余，剪除相当比例模块后仍能维持相近的性能与效率，为智能体框架设计提供…
arXiv cs.AI27 天前
★ 2
LLM引导剪枝改进近邻图索引
针对图式近似最近邻搜索（ANNS）索引按几何关系构建、却按语义相关性评估的「几何-语义」错配问题，论文提出LLM引导图剪枝框架LGP。它用LLM推理识别结构上「低价值」的邻居节点，替换为语义更有用的替代项，同时保留原图的稀疏性与可导航性。在DiskANN、HNSW等主流索引上，LGP端到端检索性能…
arXiv cs.AI33 天前
★ 2
全连接层结构化稀疏的逐层解耦方法
作者提出一种解耦的逐层结构化稀疏方法，对预训练网络的全连接层依次提取两层子网络、归一化内层权重并对每块外层权重施加结构化组惩罚，从而剪枝神经元、缩减层宽。理论上证明该解耦目标在最优处等价于特定联合惩罚，实验显示其比耦合方法更稳健，可用正则范围更宽、灾难性过度剪枝率更低，并在 OPT-1.3B 前馈…
arXiv cs.LG42 天前