★ 2
扩散 LLM 训练数据检测的独立令牌采样
论文研究扩散大语言模型（dLLM）在去噪过程中可能泄露训练数据的问题，指出随机掩码的逐令牌检测会引入由掩码令牌间条件互信息刻画的结构性估计误差。作者提出独立令牌采样（ITS）框架，用注意力导出的成对依赖代理近似 CMI 感知选择准则，并加入多样性策略。实验在 ArXiv 数据集上 AUC 提升 0…
arXiv cs.LG41 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究扩散大语言模型（dLLM）在去噪过程中可能泄露训练数据的问题，指出随机掩码的逐令牌检测会引入由掩码令牌间条件互信息刻画的结构性估计误差。作者提出独立令牌采样（ITS）框架，用注意力导出的成对依赖代理近似 CMI 感知选择准则，并加入多样性策略。实验在 ArXiv 数据集上 AUC 提升 0…