★ 3
研究揭示微调 MoE 大模型存在专家路由记忆泄露风险
论文发现微调后的 MoE 大模型会记忆训练数据的内部路由路径，形成可被无监督生成恢复的路由指纹。在联邦学习与边缘云等分布式部署中该漏洞被放大，传统成员推断指标失效，作者提出复合指标提升检测能力。
arXiv cs.LG4 小时前
#成员推断
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文：Genesis Steering 用训练数据改进激活引导
论文提出 genesis steering，从模型自身微调数据中的对比样本推导引导向量，并在数据不可得时借助成员推断构造代理数据集。在 Tülu-3-8B 与 Llama-3.1-8B-Instruct 上，来自 Tülu-3-8B 训练混合的安全数据引导效果强于外部数据集。
arXiv cs.LG18 天前
★ 2
扩散 LLM 训练数据检测的独立令牌采样
论文研究扩散大语言模型（dLLM）在去噪过程中可能泄露训练数据的问题，指出随机掩码的逐令牌检测会引入由掩码令牌间条件互信息刻画的结构性估计误差。作者提出独立令牌采样（ITS）框架，用注意力导出的成对依赖代理近似 CMI 感知选择准则，并加入多样性策略。实验在 ArXiv 数据集上 AUC 提升 0…
arXiv cs.LG41 天前
这个主题的相关资产
相关公司Meta AI1