★ 2
MPQ 提出消息传递视角的训练后量化方法
论文将逐行训练后量化（PTQ）建模为离散码本上的后验推断，指出 GPTQ、LDLQ 等方法相当于零温度硬判决极限。提出的 Message-Passing Quantization（MPQ）在推断中保留软后验信息，仅在输出阶段硬判决，在 Llama、Qwen、Mistral 系列模型 2/3/4 比…
arXiv cs.AI7 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将逐行训练后量化（PTQ）建模为离散码本上的后验推断，指出 GPTQ、LDLQ 等方法相当于零温度硬判决极限。提出的 Message-Passing Quantization（MPQ）在推断中保留软后验信息，仅在输出阶段硬判决，在 Llama、Qwen、Mistral 系列模型 2/3/4 比…
论文提出在主动推理框架下通过变分消息传递进行参数学习，解决均值场分解导致信息增益消失的问题。作者为每个因子引入独立参数先验，在网格 POMDP 实验中实现边规划边学习模型参数，每回合均能到达目标。