★ 3
Nullify：零空间激活引导实现免训练LLM遗忘
研究提出 Nullify，一种免训练、非破坏性的激活引导方法，用于大语言模型的知识遗忘。该方法在推理时使用引导向量将隐私相关激活重定向，同时满足零空间约束以保持模型效用。在 TOFU 和 MUSE 基准上，Nullify 在遗忘质量上匹配或超越现有基线，且几乎无损保留模型效用。
arXiv cs.LG24 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究提出 Nullify，一种免训练、非破坏性的激活引导方法，用于大语言模型的知识遗忘。该方法在推理时使用引导向量将隐私相关激活重定向，同时满足零空间约束以保持模型效用。在 TOFU 和 MUSE 基准上，Nullify 在遗忘质量上匹配或超越现有基线，且几乎无损保留模型效用。