★ 3
激活引导补偿与正交残差解析 LLM 量化
论文将局部权重-激活量化误差精确分解为激活引导的权重补偿项与正交残差，并用持续通道离群量与常规激活量给出残差上界。该分解厘清了权重补偿与变换设计各自能解决的误差成分，并据此推导随机 Hadamard 旋转、符号选择与通道缩放的实用准则。在八个 Llama 与 Mistral 模型上以无反向传播配置…
arXiv cs.LG42 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将局部权重-激活量化误差精确分解为激活引导的权重补偿项与正交残差，并用持续通道离群量与常规激活量给出残差上界。该分解厘清了权重补偿与变换设计各自能解决的误差成分，并据此推导随机 Hadamard 旋转、符号选择与通道缩放的实用准则。在八个 Llama 与 Mistral 模型上以无反向传播配置…