★ 3
闪存内计算实现LLM推理
论文针对LLM推理中内存带宽瓶颈，设计可在Flash存内计算设备上运行的推理算法。采用端到端整数量化消除浮点运算，并基于稀疏字典编码压缩KV缓存以应对写入寿命限制。在Llama-3.1-8B和Qwen-2.5-7B上，动态KV缓存流量降低15倍且精度损失有限。
arXiv cs.LG47 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文针对LLM推理中内存带宽瓶颈，设计可在Flash存内计算设备上运行的推理算法。采用端到端整数量化消除浮点运算，并基于稀疏字典编码压缩KV缓存以应对写入寿命限制。在Llama-3.1-8B和Qwen-2.5-7B上，动态KV缓存流量降低15倍且精度损失有限。