★ 3
JEPA-Prune：联合嵌入引导剪枝缓解微调大模型隐私泄露
论文提出 JEPA-Prune 事后神经元剪枝框架，借助仅在无 PII 视图上训练的参考模型，通过联合嵌入预测架构捕捉领域知识而不含身份信息，再用跨模型表示探针、积分梯度与尺度不变特异性分数定位 PII 响应神经元并剪枝。实验显示仅剪除 1.6% 神经元即可将 PII 推断准确率降低最多 7.4 …
arXiv NLP14 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 JEPA-Prune 事后神经元剪枝框架，借助仅在无 PII 视图上训练的参考模型，通过联合嵌入预测架构捕捉领域知识而不含身份信息，再用跨模型表示探针、积分梯度与尺度不变特异性分数定位 PII 响应神经元并剪枝。实验显示仅剪除 1.6% 神经元即可将 PII 推断准确率降低最多 7.4 …
研究将面向韩国法院判决书的去标识化模型迁移到更广泛敏感文档，针对韩语黏着结构导致 BPE 分词器将个人信息与助词合并的问题，提出 Thunder-DeID+，融合三层 PII 分类体系与边界感知分词器。在完整判决书上，四种模型规模（150M 至 1B）的严格类型 F1 从 0.76-0.77 提升…