★ 3
研究：潜在有害性监测器在同等误报率下不优于模型自身拒答行为
一篇 arXiv 论文在 15 个指令微调大模型和 38 个基于激活的读取器上，测试了 Latent Guard 等潜在安全监测器在分布外提示（改写、说服性框架、越狱包装）下的有害性检测能力。结果显示，在指令末尾读取的激活表征虽与拒答行为基本独立，但在分布偏移下退化，TF-IDF 分类器在全部模型…
arXiv cs.AI10 天前
#越狱检测
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：分类指令可增强 LLM 恶意输入探针
论文系统测试在用户输入后附加分类指令后缀对激活探针监控效果的影响，在 13 个安全基准与三个开源模型家族上做严格留一数据集评估。结果显示分类格式本身带来最高约 4 个 AUC 点的分布外检测提升，且该收益可延续到生产环境的多位置池化探针。
arXiv cs.LG28 天前
★ 3
研究用LLaMA-3.1-8B隐状态检测有害提示
论文提出从 LLaMA-3.1-8B 提取激活值，训练仅 1260 万参数的轻量 MLP 探针来检测有害提示。在 WildJailbreak、Beavertails 与 AEGIS 2.0 上 F1 分别达 99%、83%、84%，与体量大 1000 倍的护栏模型相当，同时显著降低延迟与算力开销。…
arXiv cs.AI45 天前
这个主题的相关资产
相关公司Meta AI1