★ 2
FASD:解耦多模态大模型遗忘中的知识遗忘与拒答学习
论文指出当前多模态遗忘评估只关注模型是否停止输出目标信息,掩盖了知识抑制引发虚构、拒答训练未真正抹除知识两大失效模式。作者提出遗忘感知自蒸馏(FASD),将行为通道与知识通道分离,实现「诚实的无知」,在遗忘目标知识的同时防止开放任务信息泄露并保持保留数据性能。
arXiv cs.AI19 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出当前多模态遗忘评估只关注模型是否停止输出目标信息,掩盖了知识抑制引发虚构、拒答训练未真正抹除知识两大失效模式。作者提出遗忘感知自蒸馏(FASD),将行为通道与知识通道分离,实现「诚实的无知」,在遗忘目标知识的同时防止开放任务信息泄露并保持保留数据性能。