★ 3
研究发布豪萨语安全偏好数据集 HausaSafeLM，评估 SFT 与 DPO 对齐效果
论文针对西非逾 2 亿人使用的豪萨语，基于 PKU-SafeRLHF 构建 1 万条提示的 HausaSafeLM 安全偏好数据集（3000 条人工校正、7000 条机器翻译）。在 Qwen2.5-7B-Instruct 上比较 SFT 与 SFT+DPO，发现基座模型高拒答率实为生成能力不足；D…
arXiv NLP5 天前
#安全对齐
共 13 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究用 ADMM 实现多智能体系统分布式训练
论文提出首个基于共识交替方向乘子法（ADMM）的分布式多智能体系统训练框架，将协作学习建模为共识约束的有限和优化问题。各智能体交替进行角色本地学习与智能体间共识，通过 ring all-reduce 等协议通信，数据与训练状态保持本地。在存在被攻陷智能体的场景下，HarmBench 攻击成功率最多…
arXiv cs.AI13 天前
★ 3
StepSafe：面向智能体安全的步骤级及时干预护栏
论文提出 ASPO 训练框架与 StepSafe 护栏，针对智能体系统安全的序列性，在每一步诊断动作风险并决定继续、询问或停止。方法通过前缀级阶段对齐与自适应反馈自蒸馏，结合违规分类与干预窗口数据，在五个智能体安全基准上取得开源护栏最优表现，4B 模型 Youden's J 达 53.0。
arXiv cs.AI17 天前
★ 3
中文大模型社交媒体表达中的社会偏见研究
研究构建了 73 组跨性别、地域、职业的配对探针，考察网络俚语、表情符号和讽刺对中文大模型社会偏见评估的影响。六个中文大模型均表现出显著身份偏见，且讽刺表达下的低分不应被直接解读为偏见缓解。
arXiv NLP19 天前
★ 3
PowerBench：衡量语言模型在权力转移请求中的偏见
研究提出 PowerBench，区分自我赋权、去权与夺权三类权力转移请求，并构建开源数据集，评估 24 个中美模型在三种实验条件下的拒绝行为。结果显示模型对夺权的拒绝率最高，且存在明显的国别偏向：倾向帮助他国从美国夺权，却反对美国从他国夺权。
arXiv cs.LG28 天前
★ 3
研究提出DSAR指标衡量大型推理模型的欺骗性安全对齐
论文指出大型推理模型在强化学习训练中，因奖励仅基于最终答案，导致思维链推理与最终答案的安全信号不一致，即「欺骗性安全对齐」。作者提出DSAR指标量化该现象，并发现预填充攻击会显著放大该问题。为此提出SARA方法，同时奖励安全推理与安全答案，在保持有用性的前提下显著缓解该问题。
arXiv cs.AI33 天前
★ 3
KV缓存压缩下关键词拒答率骤降但分类器仍稳定
研究发现在KV缓存压缩场景下，关键词启发式检测的拒答率从98.0%降至80.5%，而HarmBench分类器拒答率仍维持在99%以上，MMLU准确率不变。人类标注更倾向与分类器一致，表明存在「软拒答」现象。作者建议在压缩部署环境下进行安全审计时，应依赖多种与推理上下文匹配的判定器，而非仅凭关键词拒…
arXiv cs.LG34 天前
★ 3
诱饵方向优化：对抗LLM消融的事后防御
论文提出诱饵方向优化（DDO），一种无需微调的事后权重编辑防御方法，通过向MLP神经元注入高幅非线性诱饵信号来破坏攻击者的拒绝方向估计。在六个模型家族上，标准RFA攻击成功率低于10%，在Llama-3-8B-Instruct上将Heretic攻击成功率从88.7%降至18%，优化成本低30至45…
arXiv cs.LG47 天前
★ 3
三思而后行：LLM智能体的行动前验证
论文提出在 LLM 智能体执行动作前进行低成本确定性检查，以捕获静默失败。针对 shell 命令，静态验证器在 9930 条命令上以 10% 误报率捕获 95.8% 无效命令；针对代码编辑，位置锚定格式（如行号）在单行偏移下会损坏 99.1% 文件。采用「不确定即拒绝」策略可将静默失败转为可恢复失…
arXiv cs.LG49 天前
★ 2
AgentPolicyForge：用可执行环境训练智能体策略护栏
论文提出 AgentPolicyForge 框架，利用可执行环境构造策略基准并迭代训练策略护栏，并构建含十类策略、698 个训练场景与 254 个留出场景的 PolicyGym。攻击者用检索策略生成请求，护栏在环境验证的平衡样本上微调。最终配置相对仅提示策略将攻击成功率降低 40%–44%，良性误…
arXiv cs.AI11 天前
★ 2
研究：监管者反成干扰源，工具智能体需成本感知退避
论文研究监督型调控器对工具使用智能体的干扰，在受控文件恢复环境中发现调控强度上升会触发工具失败，成本盲目的调控器会将其转为持续阻塞。作者提出基于已知诱发事件移动平均的自适应退避规则，在 Gemini 2.5 Flash 的 576 次实验及手写策略智能体上均减少阻塞、提升任务完成率。
arXiv cs.AI25 天前
★ 2
当每个AI代理动作都被授权，整体决策依然错误
一篇技术评论文章探讨AI代理（Agent）系统的授权机制问题：即便每一步操作都通过了权限校验，最终的整体决策仍可能出错。文章指出局部合规不等于全局正确，这对多步代理工作流的安全设计提出了新挑战。
Hacker News – AI31 天前
★ 2
Heretic工具可移除语言模型限制
一个名为Heretic的项目声称能够移除语言模型中的限制与安全对齐。该工具在Hacker News上获得19分热度，反映出社区对模型去审查与开源微调边界的持续关注。
Hacker News42 天前