★ 3
FidelityQ：超低位宽语言模型量化保持预测保真度
研究者提出 FidelityQ 标量量化框架，可在低至 2 比特权重精度下保持预测保真度，引入信息对齐解析编码（IAC）和知识密集校准（KIC）。在 LLaMA-2-7B 上，W2A16 下 WikiText2 困惑度为 6.62，W2A4KV4 结果从 8.31 改进至 6.96，线性层权重内存…
arXiv NLP19 天前
#低比特
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
三星开源 LittleBit：亚 1 比特 LLM 压缩
三星研究院发布 LittleBit 与 LittleBit-2 的官方实现，通过潜在因子分解将 LLM 权重压缩至亚 1 比特（最低 0.1 bits-per-weight），同时保持原始模型架构。LittleBit-2 引入 Joint-ITQ 初始化，改善潜在几何对齐，且不增加推理开销。
Hacker News – LLM24 天前
★ 3
PRQuant：低开销推理的置换残差量化
论文提出 PRQuant，一种免训练、低开销的低比特量化框架，通过通道重排与静态权重侧残差补偿，将零散的残差补偿转化为规整的尾部增强 GEMM。在 Qwen3 系列模型上，其平均精度超过默认 MXFP4 与多种 PTQ 基线，同时显著降低推理延迟。
arXiv cs.LG41 天前
★ 3
Qwen3-4B训练后三值化：能力、有效位预算与部署
研究对Qwen3-4B进行端到端训练后转换，使用KOTMS旋转、E2M-ATQ三值化和GPTQ式误差补偿。最终每权重有效位1.641，准确率从64.5%降至54.7%，困惑度上升。打包运行将模型大小从8.29 GiB减至3.96 GiB，但未端到端基准测试，初步微基准显示比FP16慢4.6倍。
arXiv cs.AI60 天前
★ 2
渐进式多祖先位深蒸馏
论文针对 FP32 到 INT4 同步转换加蒸馏导致训练不稳定与性能骤降的问题，提出渐进式多祖先位深蒸馏（PMABD）统一框架。该方法逐步压缩网络，通过不断扩大的高精度祖先教师池传递知识，生成一系列中间教师共同监督最终学生模型。在 CIFAR 与 Tiny-ImageNet 上，PMABD 优于现…
arXiv cs.LG27 天前
这个主题的相关资产
相关术语Low-bit（低比特量化）