★ 3
可解码不等于因果：SAE 分解区分探针读数与行为驱动
论文指出线性探针能解码真实性等安全概念，但探针准确率仅代表可解码性，不代表其权重特征因果驱动模型行为。作者提出基于稀疏自编码器（SAE）的特征级诊断，按探针对齐度与梯度敏感度排序并做消融。在 Gemma2-9B-Instruct 上，两种排序仅约12%重叠，共享特征对输出的翻转率远高于探针独有或随…
arXiv cs.AI46 天前
#因果分析
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究提出 CEA 与 BUC 方法定位 Transformer 中影响决策的注意力头
论文提出受控证据聚合（CEA）与均衡效用因果选择（BUC），通过改变提示中两个符号的数量与顺序，测量冻结 Transformer 对答案 token 的 logit 差异，从而定位因果影响决策的注意力头。在 Pythia-410M 上消融 1-12 个头可消除 65.5%-91.6% 的数量效应，…
arXiv NLP5 天前
★ 2
研究：句法注意力头是否影响模型行为
论文考察 Transformer 语言模型中专门处理句法关系的注意力头是否对模型的句法预测有因果作用。实验显示，即使强制这些头关注干扰名词，模型预测仍更符合主语；对句法头的干预仅在两种度量之一中显著强于随机头干预。
arXiv NLP18 天前
★ 2
扩散语言模型FFN压缩的下游因果修复
论文提出同态因果修复（SSR）方法，在压缩模型实际到达的当前输入上恢复原始FFN，直接测量被移除计算对下游去噪轨迹的闭环影响。在LLaDA-8B-Instruct与Dream-v0-Instruct-7B上，仅恢复四个转移即可挽回89.9%的精度损失，同时保留约36.8%的全模型MAC节省。该工作…
arXiv cs.LG34 天前