★ 4
新方法 PIR 检测大模型是否隐瞒已知答案
论文借鉴犯罪心理学的隐藏信息测试,提出内部识别探针 PIR,通过读取模型内部状态判断其识别出哪个候选答案,无需参考模型或标注真值。在五个家族八个模型上,PIR 以 0.70-0.87 平衡准确率恢复被识别答案,可区分模型「不愿答」与「不会答」,支持偷懒审计与遗忘验证。
arXiv cs.AI42 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文借鉴犯罪心理学的隐藏信息测试,提出内部识别探针 PIR,通过读取模型内部状态判断其识别出哪个候选答案,无需参考模型或标注真值。在五个家族八个模型上,PIR 以 0.70-0.87 平衡准确率恢复被识别答案,可区分模型「不愿答」与「不会答」,支持偷懒审计与遗忘验证。