arXiv NLPMistral AI·24 天前★ 2

LadderEdit：LLM 终身编辑的残差压缩方法

原文标题：LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

研究者提出 LadderEdit，用于解决大模型终身编辑中每个编辑对应一个 LoRA 适配器、存储线性增长的问题。该方法先将每个编辑以低秩草图形式存储，再通过探针提示验证其是否满足重写、泛化与局部性约束，未通过的编辑沿「阶梯」逐级提升秩。在 ZsRE、CounterFact、WikiBigEdit 三个基准及 LLaMA-3-8B、Mistral-7B、Qwen2.5-7B 上，内存占用降低 5.2 倍，并在 5 万次连续编辑后仍保持有效。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 终身编辑中每个编辑对应一个 LoRA 适配器，存储随编辑数线性增长。
方法: 先以低秩草图存储每个编辑，用探针提示验证重写、泛化、局部性约束，未通过者沿阶梯逐级提升秩。
结果: 在 ZsRE、CounterFact、WikiBigEdit 及 LLaMA-3-8B、Mistral-7B、Qwen2.5-7B 上内存降低 5.2 倍，5 万次连续编辑后仍有效。
影响: 让长期知识编辑的存储成本可控，适合需要持续更新模型知识的线上系统。