★ 3
JEPA-Prune：联合嵌入引导剪枝缓解微调大模型隐私泄露
论文提出 JEPA-Prune 事后神经元剪枝框架，借助仅在无 PII 视图上训练的参考模型，通过联合嵌入预测架构捕捉领域知识而不含身份信息，再用跨模型表示探针、积分梯度与尺度不变特异性分数定位 PII 响应神经元并剪枝。实验显示仅剪除 1.6% 神经元即可将 PII 推断准确率降低最多 7.4 …
arXiv NLP14 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 JEPA-Prune 事后神经元剪枝框架，借助仅在无 PII 视图上训练的参考模型，通过联合嵌入预测架构捕捉领域知识而不含身份信息，再用跨模型表示探针、积分梯度与尺度不变特异性分数定位 PII 响应神经元并剪枝。实验显示仅剪除 1.6% 神经元即可将 PII 推断准确率降低最多 7.4 …