★ 3
ESP32-P4 微控制器实现本地实时语音识别，无需云端
开发者展示在 ESP32-P4 微控制器上运行 Kroko 流式语音识别模型，仅靠双 RISC-V 核心完成开放词表实时转写，无需云端或神经网络加速器。模型权重经 2/4 比特量化压缩至 26.65MB，存于 SD 卡并加载到 PSRAM，还附带语音控制演示。
Hacker News6 天前
#模型量化
共 21 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ProQuant：MoE 模型超低比特量化保专家质量
论文提出 ProQuant，面向混合专家（MoE）大模型的仅权重量化后训练框架，在极低比特预算下保持生成质量。方法包含联合优化专家剪枝与位宽分配的 PoP，以及通过等价变换补偿量化误差、抑制路由漂移的 RoCo 微调。实验显示其在多种生成任务上优于现有方法，代码已开源。
arXiv cs.AI9 天前
★ 3
arXiv 论文提出 OnQ：量化模型推理能力恢复新方法
针对低比特量化大模型长程推理能力退化问题，论文指出固定响应监督存在轨迹偏移与分布错配两大挑战。作者提出 OnQ 流水线，结合同策略蒸馏与候选级 Dynamic KL。在 Qwen3-1.7B/4B/8B 的 2 比特与 3 比特设置下取得九项基准最高均分，2 比特时 Qwen3-8B 平均提升 1…
arXiv NLP10 天前
★ 3
研究对比 2:4 稀疏与量化：大模型推理该选哪一步
论文在等比特与等张量核档位下比较 2:4 半结构化稀疏与量化，覆盖三代 GPU 与 Transformer 层全部六个 GEMM 操作数。结论是只要还有更低精度可选，加 2:4 都是更差的一步；量化到底后 2:4 仍可提速线性层 1.3–1.7 倍，H100 上 FP8 稀疏模型预填充吞吐提升 2…
arXiv cs.LG10 天前
★ 3
研究：量化模型校准增益可在不同表示间复用
论文研究同一预训练模型不同表示之间能否复用尺度校准学到的更新，方法为提取正向分组增益并直接写入接收方权重或原生量化尺度，无需接收方优化，且保持整数编码、零点与存储布局不变。在 Qwen3-1.7B 浮点/GPTQ INT3 组合上，双向迁移保留 76.9%–90.5% 的文本损失改善；打乱增益分组…
arXiv cs.LG13 天前
★ 3
Qwen3.8-27B 在 iPhone 18 神经引擎跑出 15–70 tok/s
开发者展示在 iPhone 18 神经引擎上以 1.5 bpw 量化运行 Qwen3.8-27B，速度达每秒 15 至 70 个 token。该实验说明大模型端侧本地推理在手机芯片上已具备可用性。
Hacker News15 天前
★ 3
FidelityQ：超低位宽语言模型量化保持预测保真度
研究者提出 FidelityQ 标量量化框架，可在低至 2 比特权重精度下保持预测保真度，引入信息对齐解析编码（IAC）和知识密集校准（KIC）。在 LLaMA-2-7B 上，W2A16 下 WikiText2 困惑度为 6.62，W2A4KV4 结果从 8.31 改进至 6.96，线性层权重内存…
arXiv NLP18 天前
★ 3
论文提出代数整数量化 AIQ，用于 LLM 推理压缩
arXiv 论文提出代数整数数格式（AINF）与代数整数量化（AIQ），可将 LLM 推理压缩为纯整数运算，实现无误差乘加。实验显示在同等比特预算下，AIQ 精度可与业界 MX 格式竞争。
arXiv cs.LG20 天前
★ 3
研究提出 DRQ 分布鲁棒量化改进低比特 LLM 量化
论文发现最小化重建损失所偏好的权重未必带来更好下游性能，输入激活分布变化时低重建损失权重反而更差。据此提出 Distributionally Robust Quantization（DRQ），在约束激活分布集上最小化最坏情况重建损失，改进 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法…
arXiv cs.AI23 天前
★ 3
CanonQ：W2A4KV2联合量化框架大幅降低困惑度
论文提出CanonQ量化感知训练框架，通过源规范化与任务自适应分离，实现权重、激活与KV缓存联合极低比特压缩。在LLaMA3系列W2A4KV2下WikiText-2困惑度最多降低14.28倍，零样本准确率提升57.9%。
arXiv cs.AI24 天前
★ 3
JARQ：量化联合交替精修方法
分组训练后量化器将权重舍入到未针对整数码重新拟合的网格上，损失了精度。论文提出 JARQ，从任意分组量化器出发，交替进行所有组尺度的联合最小二乘拟合与有界 Babai 提议，可同时移动一组内多个码。该方法无需反向传播，不改变宿主位宽、分组、零点与推理成本，在 Llama-2/3 与 Qwen 上 …
arXiv cs.LG31 天前
★ 3
余弦相似度非证据：量化下可解释性迁移的噪声底线
一篇 arXiv 论文指出，AI 安全领域常用余弦相似度、相关系数、AUROC 等尺度不变统计量来证明可解释性工件在量化后仍有效，但这些数值往往缺少解读所需的噪声底。作者以 difference-in-means 方向估计器为例，推导出分裂半噪声底由 κ=nρ²/d 决定，并在 Qwen2.5-1…
arXiv cs.LG34 天前
★ 3
研究：量化对临床基准的影响——五款7-8B模型准确性与安全性评估
研究评估五个 7-8B 模型在 FP16、GPTQ-INT8 与 INT4 精度下于五个临床基准上的表现。结果显示 INT8 普遍安全，而 INT4 退化显著且依赖模型：临床微调的 BioMistral-7B 在 MedMCQA 上损失 19.7%，Qwen2.5-7B 在急诊风险子组退化 26.…
arXiv cs.LG40 天前
★ 2
arXiv 论文提出 ResCom 激活残差补偿提升大模型低比特量化精度
ResCom 是一种低秩校正方法，利用激活舍入残差补偿层输出误差，通过输出感知校准闭式求解，无需梯度训练。在 Llama-3-8B 的 4 比特权重与激活下，WikiText-2 困惑度从 7.708 降至 7.147，MMLU 提升 2.89 个百分点，GSM8K 五样本准确率从 23.96% …
arXiv cs.LG4 天前
★ 2
脉冲神经网络混合精度量化新方法：梯度替代 Hessian 降内存 2.31 倍
该 arXiv 论文提出一种面向脉冲神经网络（SNN）的脉冲感知梯度混合精度量化框架，用一阶梯度信息自适应分配位宽，避免 HAWQ-V2 等方法因多时间步展开带来的二阶 Hessian 计算开销。在 ResNet-34/ImageNet 上以 4.78 倍压缩达到 73.30% 精度，内存占用降低…
arXiv cs.LG9 天前
★ 2
Show HN：实测 117 个模型显存占用，帮你选适配 GPU 的 LLM
开发者上线 quantized.uk，在真实硬件上实测 117 个模型的显存（VRAM）占用，帮助用户判断哪些本地大模型能跑在自己的 GPU 上。
Hacker News – LLM10 天前
★ 2
论文提出极低状态量化 Transformer，用于电力负荷预测
研究在 3/5/7/16 状态权重量化下考察 Transformer 电力负荷预测，直接训练后量化使 NRMSE 上升 6.25 与 7.04 个百分点，量化感知微调可挽回约 90.2% 与 94.5% 的损失。作者提出累积更新阈值化，将已提交影子权重更新减少约 99.7%、离散状态切换减少 77…
arXiv cs.LG10 天前
★ 2
EdgeLLM-Nano：33.6MB 端侧模型的 KV 缓存压缩审计
研究以 8.39M 参数（33.6MB）的端侧解码器模型为测试台，系统审计 KV 缓存压缩方法。结果对极坐标引导键缓存量化与一致性锚定渐进剪枝给出负面结论，并提出 Long-Context Decode Fidelity 评估，比困惑度更能区分不同压缩后端。
arXiv NLP18 天前
★ 2
Colla-Q：基于激活熵的MoE量化比特分配框架
论文提出Colla-Q，一种基于激活熵的混合专家（MoE）量化比特分配方法，旨在让各专家在量化后保持性能均衡。由于MoE中单个专家参数量小、对低比特表示敏感，量化易导致个别专家性能骤降并拖累整体。Colla-Q通过激活熵驱动的比特宽度分配，提升整体MoE性能并降低对校准数据集的依赖，代码已开源。
arXiv cs.LG45 天前
★ 2
量化分析工具助力高效AI模型部署
论文提出 Quantization Analysis Tool，基于 ONNX 框架构建，用于简化量化工作流并支持高效模型部署。工具提供逐层敏感度分析、权重与激活分布可视化，帮助开发者选择合适精度。实验表明该工具能有效提升量化后精度，在边缘与低功耗设备部署场景中具有实用价值。
arXiv cs.LG48 天前
★ 1
论文揭示量化 LLM 供应链的可验证性缺口
arXiv 论文《The Verifiability Gap in Quantized LLM Supply Chains》探讨量化大模型供应链中模型来源与完整性难以验证的问题。该话题在 Hacker News 上被提交讨论，但关注度极低。
Hacker News – LLM18 天前