arXiv cs.LG·24 天前★ 3

Nullify:零空间激活引导实现免训练LLM遗忘

原文标题:Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

研究提出 Nullify,一种免训练、非破坏性的激活引导方法,用于的知识遗忘。该方法在推理时使用引导向量将隐私相关激活重定向,同时满足零空间约束以保持模型效用。在 TOFU 和 MUSE 基准上,Nullify 在遗忘质量上匹配或超越现有基线,且几乎无损保留模型效用。

深读 · 结论先行AI 生成展开看要点与影响 ↓

Nullify用零空间约束的激活引导实现免训练遗忘,TOFU/MUSE上遗忘质量不降、效用近无损

  • •方法为免训练、非破坏性的推理时激活引导,不更新任何权重
  • •用引导向量把隐私相关激活重定向离开记忆答案,同时满足零空间约束使保留查询激活基本不受影响
  • •在TOFU与MUSE基准上遗忘质量匹配或超越现有基线,模型效用近乎无损
  • •定位为即插即用的推理时干预框架,规避参数微调带来的算力开销

为什么重要:免训练、可插拔的遗忘路径降低了合规删除的成本门槛,对需要处理隐私删除请求的部署方有直接吸引力。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

所属主题隐私7
阅读原文 +0
AI 处理过程展开/收起
原始标题:Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning
AI 中文标题:Nullify:零空间激活引导实现免训练LLM遗忘
来源:arXiv cs.LG · 发布于 24 天前
分类:大模型 · AI 重要度:★ 3(3)
标签:LLM遗忘 / 隐私 / 激活引导 / 免训练 / 模型安全
关键词:LLM 遗忘 / 机器遗忘 / 隐私保护 / 激活引导
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
Nullify:零空间激活引导实现免训练LLM遗忘 - 智讯 AI News