★ 4
Strata：在普通游戏PC上运行1250亿参数模型
开源项目Strata让用户仅用一张12-24GB显存的NVIDIA显卡加64GB内存，就能在Windows或Linux上运行1250亿参数的Qwen3.8-Flash-Next模型。实测在RTX 5070上可达每秒60-95个token，支持多卡并行与一键安装。
Hacker News – AI32 天前
#量化
共 41 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
研究发布推理工程帕累托图谱，测54种Qwen2.5-7B配置
LLM 推理优化常在不同模型、GPU、提示与质量指标上报告加速，难以比较或组合。论文构建成本、质量与延迟的帕累托图谱，实测 Qwen2.5-7B-Instruct 在 vLLM 0.12 及 L4/A100/H100 上的 54 种配置并校准模拟器。结果显示组合方法更常进入前沿；AWQ 4bit …
arXiv cs.AI46 天前
★ 4
压缩三位一体：联合稀疏化、量化与低秩近似压缩LLM
传统压缩技术单独应用会遭遇精度-效率墙。提出“压缩三位一体”框架，联合应用稀疏化、量化和低秩近似。在预训练加速和训练后压缩中均取得显著效果，如SLiM方法在同等参数预算下比最先进方法精度提升5.66%，甚至超越未压缩的密集模型。
arXiv cs.AI68 天前
★ 3
GateRQ：按门控精度量化 DeepSeek 条件记忆表
论文针对 DeepSeek Engram 类条件记忆层提出 GateRQ，利用门控值加权量化误差，将每行存为 1-bit 残差码阶梯，仅对门控排名高的查表读取更深层级。在 DeepSeek-V4.1-Flash 上无需重训即把 GPU 表内存压缩 7.8 倍，vLLM 吞吐较 FP8 提升 11%…
arXiv cs.LG5 天前
★ 3
TWIG：把神经网络每个权重表示为共享离散决策路径
论文提出 TWIG 权重表示，将每个权重写成由符号、二次幂移位、零门控与共享表索引组成的小型离散决策路径，上层决策被下层权重继承并只存储一次。该表示统一了剪枝、量化、低秩分解、码本与权重共享，并把决策选择转化为高阶玻尔兹曼机基态问题。在大模型五个权重矩阵上，3/4 比特下比 GPTQ 减少 9–1…
arXiv cs.LG7 天前
★ 3
新点积算法：量化权重下乘法次数降至 n/2^k
论文提出一种针对低位权重的点积重构方法：把每个 k 位权重码直接当作地址偏移选择 2^k 个累加器之一，激活值累加进去，最后只做一次融合的解码与乘法。该方法对整数运算精确，乘法次数下降 n/2^k，并给出可替换 MAC 单元的 scatter-accumulate 处理单元 SA-PE，FPGA …
arXiv cs.LG7 天前
★ 3
研究证明 Transformer 可精确编译为通用深度神经网络
论文证明含注意力、LayerNorm 与 GELU MLP 的每个 Transformer 块都能精确编译为通用深度神经网络，并分析去掉「激活-激活乘积」操作的代价。研究还给出 top-k 注意力的无偏尾部质量估计与基于聚类的注意力加速方法，在 DeiT-Tiny、Pythia-70M 等模型上编…
arXiv cs.LG11 天前
★ 3
研究系统对比 NVFP4 低精度预训练配方
论文在中型模型规模上系统比较 NVFP4 训练配方，覆盖 8B 稠密模型与 30B-A3B MoE 模型、训练至 1T token。研究提出融合无偏梯度估计的最终配方，称是当前该规模下与 BF16 损失差距最小的 FP4 训练结果。消融显示选择性高精度层对大规模精度恢复是必要的。
arXiv NLP13 天前
★ 3
RoLaQ：多头潜在注意力 2 比特 KV 缓存联合校准
论文提出 RoLaQ 离线方法，针对多头潜在注意力（MLA）的 2 比特 KV 缓存进行旋转与量化范围联合校准，在冻结的键值投影子空间内优化共享旋转并学习耦合的量化阈值与重建增益。在三个 MLA 模型与六个基准上取得最高平均准确率。在 DeepSeek-V2-Lite 上，SGLang 实现同等显…
arXiv cs.LG17 天前
★ 3
SAGE：2 比特向量量化 LLM 逼近可用
论文提出 SAGE 权重向量量化方法，用能量分层分组（ESG）保护敏感权重通道，用自适应比特拆分（ABS）在固定比特预算下平衡方向码本与半径精度。在 2 比特设置下达到 SOTA，Qwen3-30B-A3B 保留 BF16 平均基准分的 95.3%，配合定制 CUDA 内核较 FP16 端到端加速…
arXiv cs.AI19 天前
★ 3
三星开源 LittleBit：亚 1 比特 LLM 压缩
三星研究院发布 LittleBit 与 LittleBit-2 的官方实现，通过潜在因子分解将 LLM 权重压缩至亚 1 比特（最低 0.1 bits-per-weight），同时保持原始模型架构。LittleBit-2 引入 Joint-ITQ 初始化，改善潜在几何对齐，且不增加推理开销。
Hacker News – LLM24 天前
★ 3
OnlineQAT：超低位宽 LLM 的在线策略蒸馏
研究者提出 OnlineQAT，一个两阶段框架，先通过分块 QAT 获得可用的低位初始化，再在学生生成的响应上进行在线策略蒸馏。在 Qwen3-1.7B 上，OnlineQAT 在 W3A16 与 W2A16 下取得对比方法中最佳平均分，分别比 ReasoningQAT 提升 2.90 和 0.4…
arXiv NLP25 天前
★ 3
论文用量化充分统计实现精确机器遗忘
论文提出量化充分统计量（QSS）方法，将冻结模式与可变可加内容分离，使删除内容成为精确减法而非重新优化。区分QSS-L（仅删标签）与QSS-E（删输入与标签）两种保证，删除以概率走算术快路径否则全量重建。在15个视觉、文本与表格数据集上，QSS-L在低类别数任务上删除延迟降低4至483倍。
arXiv cs.LG26 天前
★ 3
SoloQ：扩散语言模型免校准量化
论文提出 SoloQ，一种免校准量化框架，将权重与激活映射到归一化旋转基，使其边缘分布可预测，从而实现数据无关量化。SoloQ 结合结构化 K-RPBH 旋转与轻量重缩放校正，支持分布匹配码本与硬件原生 NVFP4，并对块扩散模型采用提交时 KV 缓存量化。在 LLaDA、Dream 等模型上，S…
arXiv cs.LG26 天前
★ 3
LLM 压缩的能力缩放下降定律
论文系统研究剪枝、量化与蒸馏三类 LLM 压缩方法的能力缩放下降规律，在数学、代码生成与问答任务上测量能力损失，并关联模型规模、训练阶段、压缩配置与数据可用性。作者提出简洁预测关系，可将剪枝预测器拟合所需配置测量量减半，并在新模型状态上保持精度。研究还评估了这些预测在压缩方法选择中的决策价值。
arXiv cs.LG28 天前
★ 3
研究：现成小模型能否胜任智能体框架微任务
一篇 arXiv 论文构建了 4 项智能体微任务基准，测试 Qwen3 0.6B 至 8B 等现成小模型能否达到实践者设定的阈值。结果显示 16 种配置全部未通过资格规则，4 比特量化也无法弥补差距，缺口更多与模型规模而非精度相关。作者建议将小模型仅用于基线未达标的场景，例如用 4B 重排序器优化…
arXiv cs.AI31 天前
★ 3
ShamAN-Q：面向亚 1 比特 LLM 权重的量化方法
论文提出 ShamAN-Q，一种亚 1 比特训练后量化方法，扩展 NanoQuant，用可处理的稠密曲率度量替代对角重构几何，借鉴 Shampoo 优化器范式。在 Qwen3-Base 上，约 1 bpw 时 WikiText-2 困惑度显著下降，0.6B 模型在约 0.8 bpw 即可匹配 Na…
arXiv cs.LG32 天前
★ 3
论文提出抗量化遗忘的LLM反学习框架
论文指出 LLM 量化后遗忘效果会显著减弱，并从损失景观曲率角度定位导致遗忘不鲁棒与效用下降的敏感权重。提出敏感度引导的噪声正则化与遗忘关键层优化，在 MUSE 与 TOFU 基准上实现更强的量化抗遗忘能力，同时保持模型效用。
arXiv cs.LG39 天前
★ 3
PRQuant：低开销推理的置换残差量化
论文提出 PRQuant，一种免训练、低开销的低比特量化框架，通过通道重排与静态权重侧残差补偿，将零散的残差补偿转化为规整的尾部增强 GEMM。在 Qwen3 系列模型上，其平均精度超过默认 MXFP4 与多种 PTQ 基线，同时显著降低推理延迟。
arXiv cs.LG41 天前
★ 3
激活引导补偿与正交残差解析 LLM 量化
论文将局部权重-激活量化误差精确分解为激活引导的权重补偿项与正交残差，并用持续通道离群量与常规激活量给出残差上界。该分解厘清了权重补偿与变换设计各自能解决的误差成分，并据此推导随机 Hadamard 旋转、符号选择与通道缩放的实用准则。在八个 Llama 与 Mistral 模型上以无反向传播配置…
arXiv cs.LG42 天前
★ 3
GGUF、GPTQ、AWQ、EXL2 模型格式解析
一篇指南系统对比 GGUF、GPTQ、AWQ、EXL2 与 EXL3 等 LLM 模型格式，区分文件容器与量化方法两类概念。文章解释每权重比特数、校准与硬件适配，并给出 Mac、消费级 GPU 与生产部署的选型建议。
MarkTechPost44 天前
★ 3
Fathom：面向卸载KV缓存的按查询读取深度稀疏解码
论文提出Fathom，一种按查询动态决定读取多少位键通道的稀疏解码方法。4位K缓存以位平面方式按通道存储，查询通过反向注水分配比特预算。在Qwen3-8B百万token场景下，解码步骤比136位扫描快1.67倍，且以更少字节达到更低注意力误差。
arXiv cs.LG46 天前
★ 3
三元 LLM 突破 1.58 比特限制
一项研究探索三元 LLM 的极限量化，突破 1.58 比特精度障碍。该方向有望大幅降低大模型推理的显存与算力需求，在 Hacker News 上获得关注。
Hacker News46 天前
★ 3
闪存内计算实现LLM推理
论文针对LLM推理中内存带宽瓶颈，设计可在Flash存内计算设备上运行的推理算法。采用端到端整数量化消除浮点运算，并基于稀疏字典编码压缩KV缓存以应对写入寿命限制。在Llama-3.1-8B和Qwen-2.5-7B上，动态KV缓存流量降低15倍且精度损失有限。
arXiv cs.LG47 天前
★ 3
研究揭示自回归预测中数据与记忆的谱缩放规律
研究揭示自回归预测中数据量与学习记忆量由同一预测能量谱支配，并证明了一个极小极大定律，说明数据决定分辨率、记忆决定最优比特分配达到的水平。实验验证了数据-记忆坍缩与耦合指数，并考察了六种预训练模型规模下的权重量化。
arXiv cs.LG48 天前
★ 3
将后训练三值化扩展至Qwen3-8B：能力保持与打包执行
论文将激进的后训练三值化流程从 Qwen3-4B 扩展到 Qwen3-8B，采用 KOTMS 旋转、E2M-ATQ 自适应三值化与 GPTQ 式误差补偿。8B 模型在三语料困惑度比为 1.361 倍，八项零样本任务平均准确率 64.6%（FP16 为 72.4%），机会校正后保留率 78.5%。打…
arXiv cs.LG53 天前
★ 3
研究提出推理感知压缩保护 LLM 推理电路降能耗
提出推理感知压缩框架，识别并保护LLM中关键推理电路，避免均匀量化造成损害。通过基准测试和模块级INT4脆弱性分析，选择性恢复敏感电路至FP16，实现帕累托最优，在ProofWriter上提升准确率并降低能耗。
arXiv cs.AI54 天前
★ 3
研究低精度时序推理中量化导致的循环状态写回问题
研究引入循环状态回写概念，发现4位状态存储会使荧光寿命成像参数估计误差增加70倍和300倍。误差反馈、残差记忆和方向记忆可在不重训练的情况下恢复精度，而提高状态精度可能恶化固定循环解。该发现对量化循环推理设计有重要指导意义。
arXiv cs.AI56 天前
★ 3
LLM注意力混合精度量化框架
提出HyQuant，一种用于LLM注意力的高效混合精度量化框架，保留关键垂直线和局部窗口高精度。在多种任务和模型上保持几乎无损精度，提升效率。
arXiv cs.AI63 天前
★ 2
论文研究文本嵌入模型量化校准的收益与风险
研究在 e5-base-v2、BGE-M3、EmbeddingGemma-300m 三个文本嵌入模型上做 4 比特权重量化，共 161 次校准实验，发现同一流程的结果可从提升到灾难性退化，关键驱动因素是更新剂量。作者据此把校准视为可选干预，并提出基于验证集置信区间的准入规则，在 30 次决策中未选…
arXiv cs.AI12 天前