★ 2
开发者开源 Vramkit：MacBook 上实现 LLM 推理无损显存压缩
开发者发布开源项目 Vramkit，针对 LLM 推理中占用显存的模型权重与 KV-cache 做压缩。权重压缩为无损且逐位校验，在 Qwen2.5-0.5B 上较原始 4-bit 减少约 33%，优于 zstd-19。KV-cache 方面发现键与值需采用不同量化轴，按通道 int8 量化键可让…
Hacker News – LLM15 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
开发者发布开源项目 Vramkit，针对 LLM 推理中占用显存的模型权重与 KV-cache 做压缩。权重压缩为无损且逐位校验，在 Qwen2.5-0.5B 上较原始 4-bit 减少约 33%，优于 zstd-19。KV-cache 方面发现键与值需采用不同量化轴，按通道 int8 量化键可让…