★ 3
研究：LLM 智能体失败归因存在「知而不言」差距
论文研究多智能体系统的自动失败归因（AFA），通过线性探针发现模型内部激活已编码足够信息判断失败步骤，却无法在输出中明确指出，形成「知而不言」差距。作者提出 grafting 干预方法，在推理时无需真值标签即可利用模型潜在知识，在多个 LLM 与基准上稳定优于直接提示。
arXiv cs.LG11 天前
#线性探针
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
用残差流激活预测 LLM 评判位置翻转
论文研究 LLM 评判者因候选回答呈现顺序不同而改变判决的「位置翻转」现象。作者检验初始判决前的残差流激活能否预测翻转，在 JudgeBench 上对三个 Qwen3 评判者与 Llama-3.1-8B 训练线性探针，AUROC 达 0.621–0.850，优于结合置信度、logits 与回答长度…
arXiv cs.LG26 天前
★ 3
可解码不等于因果：SAE 分解区分探针读数与行为驱动
论文指出线性探针能解码真实性等安全概念，但探针准确率仅代表可解码性，不代表其权重特征因果驱动模型行为。作者提出基于稀疏自编码器（SAE）的特征级诊断，按探针对齐度与梯度敏感度排序并做消融。在 Gemma2-9B-Instruct 上，两种排序仅约12%重叠，共享特征对输出的翻转率远高于探针独有或随…
arXiv cs.AI46 天前
★ 2
列表计数失败并非单一现象
研究考察七个指令模型在相同提示下的列表计数错误，发现错误模式因模型而异：Qwen 与 Gemma 27B 常把奇数翻转为邻近偶数，OLMo 集中在少数中等整数，Llama 倾向少计。这些模式并非稳定的家族规律，子词碎片化也未加重计数难度。线性探针通常仍能从残差流恢复真实计数，提示后期 MLP 幅度…
arXiv cs.LG41 天前
这个主题的相关资产
相关公司Ollama1