#LLM 缓存

EncBank 提出 LLM 查询间可复用紧凑记忆缓存

arXiv 论文提出 EncBank，将预训练 LLM 的低层作为可复用文档编码器，紧凑存储其输出供上层适配读取器使用。该方法通过自蒸馏后缀适配器在不同存储精度间共享，4-bit 存储在各基准上与原生精度差距在 1 分以内，固定 Qwen3-8B 工作负载下仅保留 28.1% 的持久 GPU 存储…