★ 3
Q-PACE：量化感知训练动态精度分配
arXiv 论文提出 Q-PACE，用二阶敏感度模型预测量化噪声带来的损失增量，训练中周期性重算逐层曲率系数并重新分配精度。在最高 4B 参数 LLM 的预训练和监督微调中持续优于现有混合精度方案，在显著更低内存预算下达到相当损失。
arXiv cs.LG25 天前
#混合精度
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
脉冲神经网络混合精度量化新方法：梯度替代 Hessian 降内存 2.31 倍
该 arXiv 论文提出一种面向脉冲神经网络（SNN）的脉冲感知梯度混合精度量化框架，用一阶梯度信息自适应分配位宽，避免 HAWQ-V2 等方法因多时间步展开带来的二阶 Hessian 计算开销。在 ResNet-34/ImageNet 上以 4.78 倍压缩达到 73.30% 精度，内存占用降低…
arXiv cs.LG10 天前
★ 2
密集输出头与稀疏路由中的Z-loss反向几何
论文从反向传播视角分析Z-loss，提出反向传输视图，将梯度源幅度与传输因子分离。诊断表明相同的前向Z-loss值可对应不同的logit空间梯度与参数更新。在GPT-2和Pythia系列上，架构感知变体可减少反向几何尾部并保持验证困惑度。
arXiv cs.LG47 天前