#低比特量化

共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 3

miniTE 框架开源：解决 NVFP4 强化学习跨引擎执行偏差

论文指出训练与采样引擎数值格式不一致会导致策略评估失真，提出 miniTE，结合执行诊断、跨引擎数值对齐与原生 W4A4 GEMM。在 Qwen3-30B-A3B 长程 RL 上训练稳定、接近 BF16 表现，单台英伟达 B300 节点吞吐达 33540 tokens/s，为 BF16 的 1.3…

arXiv cs.LG13 天前

★ 3

研究提出 DRQ 分布鲁棒量化改进低比特 LLM 量化

论文发现最小化重建损失所偏好的权重未必带来更好下游性能，输入激活分布变化时低重建损失权重反而更差。据此提出 Distributionally Robust Quantization（DRQ），在约束激活分布集上最小化最坏情况重建损失，改进 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法…

arXiv cs.AI24 天前

★ 3

Nunchux AI 推出免训练低比特注意力内核 VC-Attention

Nunchux AI 发布 VC-Attention，一种面向视频扩散 Transformer 的免训练低比特注意力内核，同时针对值量化误差与 softmax 阶段过慢两大瓶颈。视频 DiT 将整段视频展平为时空 token 序列并在每层执行全自注意力，注意力因此成为主要计算瓶颈。该方案无需重新训…

MarkTechPost46 天前

★ 3

EFQ-Softmax：Softmax的无指数低比特量化

论文提出EFQ-Softmax，直接将移位注意力分数映射为块缩放E2M1操作数，替代传统先指数后量化的路径。在Qwen3-8B、Qwen3-VL-8B-Instruct和WAN2.2上保持端到端质量，并在A5向量单元上将融合概率生成核的向量阶段延迟平均降低40.33%。

arXiv cs.LG53 天前

★ 2

Phase-HDC：用梯度阈值替代优化器历史训练离散相位模型

论文提出 Phase-HDC 方法，针对参数为低比特角度的超维分类器，用当前梯度阈值替代 Adam 优化器的历史矩记录。在 11 个数据集上，其存储量比 float32 Adam 少 16-23 倍，比 8-bit Adam 少 4-6 倍，精度平均损失约 5 个百分点，但在 6 个数据集上优于 …

arXiv cs.LG24 天前