arXiv cs.AI·63 天前★ 3

KLOD：通过非目标分布保持实现局部性保持的知识编辑

原文标题：KLOD: Locality-Preserving Knowledge Editing via Non-Target Distribution Preservation

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

KLOD提出一种有界且分布保持的目标函数，用于微调知识编辑，通过停止目标放大并保持非目标分布，显著减轻局部性退化。实验显示KLOD在保持高编辑可靠性的同时，提供了可控的泛化-局部性权衡。

问题: 基于微调的知识编辑用交叉熵只抬高目标概率，不约束非目标分布，顺序编辑时局部性退化。
方法: 提出有界且分布保持的目标函数KLOD，达到概率阈值即停止目标放大，并保持非目标位置与前缀位置的分布。
结果: 在CounterFact和ZsRE上，用Llama3-8B-Instruct与Qwen2.5-7B-Instruct验证，显著缓解局部性退化并保持高编辑可靠性，阈值提供可控的泛化-局部性权衡。
影响: 需要给大模型做知识更新又怕改坏其他能力的团队，可把KLOD当作更安全的微调式编辑目标。