★ 3
研究发布豪萨语安全偏好数据集 HausaSafeLM，评估 SFT 与 DPO 对齐效果
论文针对西非逾 2 亿人使用的豪萨语，基于 PKU-SafeRLHF 构建 1 万条提示的 HausaSafeLM 安全偏好数据集（3000 条人工校正、7000 条机器翻译）。在 Qwen2.5-7B-Instruct 上比较 SFT 与 SFT+DPO，发现基座模型高拒答率实为生成能力不足；D…
arXiv NLP5 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文针对西非逾 2 亿人使用的豪萨语，基于 PKU-SafeRLHF 构建 1 万条提示的 HausaSafeLM 安全偏好数据集（3000 条人工校正、7000 条机器翻译）。在 Qwen2.5-7B-Instruct 上比较 SFT 与 SFT+DPO，发现基座模型高拒答率实为生成能力不足；D…
论文指出列表式偏好反馈比成对比较提供更丰富监督，但完整排序泄露更多敏感偏好，而现有隐私对齐方法多针对成对反馈。作者提出排序感知指数机制RAEM，将列表偏好私有化为低敏感度粒度，把噪声集中在边界项附近。在同等隐私预算下，其下游LLM对齐效果稳定优于现有LDP基线。