★ 3
研究：激活探针所需合成数据量取决于覆盖度
论文研究监控语言模型的激活探针需要多少合成对话样本。结果显示需求由被监控概念决定：高风险与有害回复探针在80个样本后接近平台期，指令遵循探针需要数倍样本。决定样本需求的是覆盖度而非难度，每类中位半增益样本量为7-11个。研究发布了评估套件与生成数据集。
arXiv cs.LG24 天前
#激活探针
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：分类指令可增强 LLM 恶意输入探针
论文系统测试在用户输入后附加分类指令后缀对激活探针监控效果的影响，在 13 个安全基准与三个开源模型家族上做严格留一数据集评估。结果显示分类格式本身带来最高约 4 个 AUC 点的分布外检测提升，且该收益可延续到生产环境的多位置池化探针。
arXiv cs.LG28 天前
★ 3
研究揭示Qwen2.5模型谱系中潜意识特质传递与衰减
研究语言模型在模型输出上迭代训练形成的「谱系」中，潜意识特质能否跨代传递。作者将特质注入 Qwen2.5-7B-Instruct 三个副本并迭代十代，发现特质在十代后仍持续存在，但关键词表达率从首代 55.6% 降至第十代 21.1%。研究还发现特质可内部存在而行为上不显现，移除系统提示后第十代学…
arXiv cs.LG40 天前
★ 2
研究：Llama-3.1-8B 激活探针可检测并引导欺骗与谄媚行为
一篇 arXiv 论文在 Llama-3.1-8B-Instruct 上系统比较了激活探针的设计选择，包括两种估计器（均值差与逻辑回归）和三种 token 池化方式，并覆盖欺骗、高风险意识、谄媚三种行为。研究发现「逻辑回归擅长检测、均值差擅长引导」的读写分离规律在欺骗与高风险行为上成立，但在谄媚行…
arXiv cs.LG10 天前
★ 2
激活探针能否抵御推理期数值非确定性
论文系统测量了Llama-3.1-8B、Qwen3-8B与Gemma-3-4B在不同批大小和浮点精度下激活探针的稳定性。发现聚合准确率会低估判定翻转数量2至9倍，解码阶段翻转率达2.8%，但主要由文本差异而非算术误差导致。作者建议鲁棒性评估应报告逐样本一致性而非聚合准确率。
arXiv cs.LG34 天前