★ 3
TileQuant：以瓦片为精度分配单元的 LLM 混合精度量化
论文提出 TileQuant，一种免训练的后训练量化框架，将精度分配给硬件对齐的二维权重瓦片，而非整列。离线校准结合激活感知与梯度敏感度打分，高分瓦片保留 16 位、其余用 8 位。实验显示生成吞吐达原模型 2.66 倍，并在语言建模、推理、长上下文检索等任务上保持质量。
arXiv cs.LG6 小时前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 TileQuant，一种免训练的后训练量化框架，将精度分配给硬件对齐的二维权重瓦片，而非整列。离线校准结合激活感知与梯度敏感度打分，高分瓦片保留 16 位、其余用 8 位。实验显示生成吞吐达原模型 2.66 倍，并在语言建模、推理、长上下文检索等任务上保持质量。
论文提出 DictLLM，将分组层内权重矩阵分解为共享字典与层专属稀疏系数，无需再训练即可从预训练模型直接获得。方法分四步：SVD 求共享字典、字典感知 Hessian 稀疏化、字典精修、因子专属量化。LLaMA-7B 压缩 5.1 倍仅使 WikiText-2 困惑度上升 2.9 点，压缩率比现…