★ 4
研究用基座模型似然解码提示分类器漏掉的隐藏意图
论文基于人格选择模型（PSM），提出人格-头部似然评估（PHLE）方法，通过基座预训练模型对输出序列的似然解码潜意识信号。实验可区分「爱猫头鹰」与「爱鹰」提示生成的数字序列，也能识别被过滤掉明显失准的「伤害用户」秘密意图，而提示分类器（含生成模型自身）接近随机水平。信号在 Qwen 与 Olmo …
arXiv cs.LG5 天前
#模型审计
共 13 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
新方法 PIR 检测大模型是否隐瞒已知答案
论文借鉴犯罪心理学的隐藏信息测试，提出内部识别探针 PIR，通过读取模型内部状态判断其识别出哪个候选答案，无需参考模型或标注真值。在五个家族八个模型上，PIR 以 0.70-0.87 平衡准确率恢复被识别答案，可区分模型「不愿答」与「不会答」，支持偷懒审计与遗忘验证。
arXiv cs.AI42 天前
★ 3
审计：41 个模型版本预训练披露并不持续改善
研究基于 2025 年基础模型透明度指数（FMTI）的 24 项预训练指标，审计 17 个模型家族共 41 个条目。24 组相邻版本对比中 11 组得分下降、6 组上升、7 组持平，共 38 项指标丢失、28 项提升；OLMo-2 与 OLMo-3 总分相同但各有三项得失，Llama-3.1 虽优…
arXiv NLP5 天前
★ 3
arXiv 审计 Qwen3.5-27B 工具调用激活干预
研究在 Qwen3.5-27B 的工具调用任务上考察激活干预能否让模型在其他计算中复用目标条件。残差写入变体可将目标选择正确率从 35/128 提升至 119/128，但一旦重组熟悉事实与标识符，增益即消失，且对候选资格判断几乎无改善。结果区分了目标选择控制、条件敏感判断与完整动作正确性三个层面。
arXiv NLP7 天前
★ 3
KV缓存压缩下关键词拒答率骤降但分类器仍稳定
研究发现在KV缓存压缩场景下，关键词启发式检测的拒答率从98.0%降至80.5%，而HarmBench分类器拒答率仍维持在99%以上，MMLU准确率不变。人类标注更倾向与分类器一致，表明存在「软拒答」现象。作者建议在压缩部署环境下进行安全审计时，应依赖多种与推理上下文匹配的判定器，而非仅凭关键词拒…
arXiv cs.LG34 天前
★ 3
System-1 模型生物安全基准审计：校准与选项顺序不稳
论文审计了一款商用非生成式 System-1 模型在 WMDP 与 LAB-Bench 等生物安全相关基准上的可靠性，涵盖准确率、校准、选择性预测与选项顺序敏感性。模型校准尚可（ECE 0.034），但准确率高度依赖任务；在选项循环轮换下 37.4% 的 WMDP-Cyber 题目答案改变，主要归…
arXiv cs.LG35 天前
★ 3
思维泄漏：混合推理模型NoThink后训练的因果审计
论文在因果中介框架下审计混合推理模型NoThink后训练中的思维泄漏，通过沿基础模型激活方向的双向干预发现泄漏真实、因果且显著。在三个模型、三种后训练方法与九个对齐检查点上，泄漏比率达42%至79%，表明后训练的表面增益可能只是更多漂移向Think模式。
arXiv cs.LG38 天前
★ 3
基于隐藏状态相对表示的LLM偏见检测
现有偏见审计依赖模型输出，需昂贵基准或评审模型，且可能遗漏未体现在文本中的内部偏移。论文提出基于参考的方法，通过句子与固定锚句的相似度构建相对表示，在共享比较空间测量目标群体与正负属性关联的偏移量ΔB。在三个模型家族与三个基准上，ΔB在18个设置中的15个与输出级偏见变化相关，全量微调下|r|=0…
arXiv cs.AI53 天前
★ 2
研究提出物理信息神经网络参数错设的闭式审计方法
PINN 训练损失低并不代表方程系数设定正确。研究在残差对参数线性时，用冻结网络单次评估得到最小二乘估计，其精度与归一化残差 ρ 相关。在 Burgers 方程上可检出 2% 错设，但当错误参数同时进入架构时，2% 以内误差无法检出。研究还指出实际预算下错设模型的原始损失可能更低。
arXiv cs.LG13 天前
★ 2
研究揭示测试语言左右决策模型对孟加拉语习语的判断
论文审计三类非生成式决策模型（编码器打分器、解码器打分器与闭源 API），用带字面义与比喻义标注的孟加拉语习语做输入干预实验。把习语自身的字面释义塞进选项列表后，各模型 65%–96% 的剩余孟加拉语错误被吸引过去；同一批条目上孟加拉语被捕获的概率是英语的 1.9–6.4 倍。三类模型校准均退化，…
arXiv NLP14 天前
★ 2
AI-critic 开源：面向任务的机器学习模型审计工具
AI-critic 是一个开源工具，用于对机器学习模型进行任务感知的审计，帮助开发者评估模型在特定任务下的表现与风险。属于模型可解释性与安全审计方向的项目。
Hacker News – AI20 天前
★ 2
CRISP：子句重构的可解释神经符号框架
论文提出 CRISP 框架，将二值神经教师模型的末层激活向量重构为 Tsetlin Machine 子句，从而给出从命名输入阈值到命名教师神经元的符号化追踪。在多个图像基准上验证，四分之一一位布尔化在 SVHN 上取得 87.52% 的重构保真度。
arXiv cs.LG28 天前
★ 2
观测等价因果模型的干预一致性认证
论文指出观测等价的因果模型在干预下仍可能分歧，因为干预会产生观测数据中从未出现的输入。作者提出干预分离选择（ISS）方法，反复用候选模型分歧的可行干预查询真实系统并剔除被证伪者，直到成本界限内无干预可分离。该方法在彩色MNIST因果抽象任务上以平均13.6次干预为每个网络生成认证，并揭示部分认证可…
arXiv cs.AI34 天前