★ 3
GAAC 无损 KV 缓存压缩加速个人设备长上下文推理
论文提出 Group-Adaptive Additive Codec（GAAC），利用指数冗余实现 BF16 KV 缓存的无损压缩，压缩比约 1.41 倍，并配合融合注意力核在线重建。在 NVIDIA DGX Spark 上 64K 上下文解码注意力加速 1.19-1.27 倍，常驻 KV 内存降…
arXiv cs.AI3 天前
#无损压缩
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
开源项目 Taco 发布：基于 GPT-2 的跨 CPU/GPU 位级一致无损压缩器
开发者发布实验性无损压缩器 Taco，用 GPT-2 预测数据下一段内容，仅对未预测部分做区间编码。其 HardShell 引擎只用整数运算，使不同 CPU、GPU 与操作系统产生逐位相同的预测结果，压缩文件可在任意机器上还原。项目为 0.1.0 alpha，速度慢，代码主要由 Claude Co…
Hacker News – LLM13 天前
★ 2
ULPack：检查点轨迹的参考条件无损压缩编解码器
论文提出 ULPack，利用参考权重指数可预测有序浮点空间中位移位长这一特性，对有序整数残差的熵模型做参考条件化，实现检查点轨迹的无损压缩。在 bfloat16、float16、float32 轨迹上，相比 ZipNN 最高减少 27% 存储，相比 zstd-19 减少 21%，相比 FM-Del…
arXiv cs.LG19 天前
★ 2
HyperZip：扩散语言模型加速无损数据压缩
针对自回归解码在LLM无损压缩中计算成本高、吞吐低的问题，论文提出HyperZip框架，利用扩散语言模型与多Token预测加速压缩。研究识别出解码吞吐与压缩率之间的权衡，并用超网络从上下文表示生成数据专属更新，无需昂贵微调即可适配目标数据。实验显示其在压缩率与速度的权衡上优于现有基线。
arXiv cs.AI33 天前