★ 3
TWIG：把神经网络每个权重表示为共享离散决策路径
论文提出 TWIG 权重表示，将每个权重写成由符号、二次幂移位、零门控与共享表索引组成的小型离散决策路径，上层决策被下层权重继承并只存储一次。该表示统一了剪枝、量化、低秩分解、码本与权重共享，并把决策选择转化为高阶玻尔兹曼机基态问题。在大模型五个权重矩阵上，3/4 比特下比 GPTQ 减少 9–1…
arXiv cs.LG7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 TWIG 权重表示，将每个权重写成由符号、二次幂移位、零门控与共享表索引组成的小型离散决策路径，上层决策被下层权重继承并只存储一次。该表示统一了剪枝、量化、低秩分解、码本与权重共享，并把决策选择转化为高阶玻尔兹曼机基态问题。在大模型五个权重矩阵上，3/4 比特下比 GPTQ 减少 9–1…