★ 4
TierKV：面向端侧长上下文的多级 KV 缓存
针对移动端 LLM 长上下文场景中 KV 缓存成为内存瓶颈的问题，作者提出 TierKV 推理框架及其预测式多级缓存优化 PMCO。该方法在解码前从预填充隐状态预测未来缓存需求，将 token 分配到精确、低秩与闪存卸载三级，保留完整上下文并避免反应式淘汰的循环依赖。在三种移动 SoC 的八种模型…
arXiv cs.LG42 天前
#内存优化
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
GrowPage：按需KV预算提升LLM推理效率
GrowPage是一个按需KV缓存预算框架，将KV容量视为运行时资源，通过双时间尺度查询摘要估计需求变化，并在容量边界压缩或获取额外物理页。与PagedAttention集成，保持连续批处理和前缀缓存。实验显示，在推理基准上实现了更优的性能-吞吐量权衡。
arXiv cs.AI59 天前
★ 3
HeadWiseKV：混合长上下文模型的预算化逐头缓存驻留
HeadWiseKV是一种无需训练的框架，通过压缩混合语言模型的全局KV缓存来降低GPU内存消耗。在Qwen3.6-27B上，该方法在112K上下文长度下减少峰值内存8.59%，并将最大验证上下文从114K扩展到161K。
arXiv cs.AI60 天前
★ 2
LadderEdit：LLM 终身编辑的残差压缩方法
研究者提出 LadderEdit，用于解决大模型终身编辑中每个编辑对应一个 LoRA 适配器、存储线性增长的问题。该方法先将每个编辑以低秩草图形式存储，再通过探针提示验证其是否满足重写、泛化与局部性约束，未通过的编辑沿「阶梯」逐级提升秩。在 ZsRE、CounterFact、WikiBigEdit…
arXiv NLP24 天前
★ 2
Valkey 9.2 借助AI优化代码降低内存开销
开源键值数据库 Valkey 发布 9.2 版本，重点针对内存开销进行优化，并在改进自身代码的过程中使用了 AI 技术。这体现了 AI 辅助开发在基础设施软件中的实际应用。
Hacker News – AI25 天前
★ 2
不确定性感知的强化学习自适应三维建图
论文提出一种基于语义熵、几何曲率与纹理丰富度的自适应体素细化框架，用于三维重建，无需依赖语义分类体系。作者进一步引入强化学习智能体，在用户指定内存预算下学习体素细分策略，将手工阈值替换为单一控制参数。多分辨率 TSDF 在合成与真实数据集上取得更高几何精度、更好语义一致性与内存-精度权衡。
arXiv cs.LG31 天前
★ 2
在128GB Ryzen AI MAX+ 395电脑上运行375GB Kimi K2.5
一篇技术文章探讨如何在仅128GB内存的Ryzen AI MAX+ 395 PC上运行约375GB的Kimi K2.5大模型，涉及内存卸载与量化等技巧。这反映了消费级硬件运行超大模型的探索方向，对本地部署社区有参考价值。
Hacker News – AI46 天前