★ 3
arXiv 论文：语言模型具备可解释叙事机制
研究在 GPT-2-Small、Gemma-2-2B 与 Llama-3.1-8B 中定位与「叙事性」相关的注意力头、MLP 神经元与稀疏自编码器特征。消融这些组件会提高高叙事性文本的下一 token 预测损失，并降低生成文本的叙事性，为叙事相关组件影响模型行为提供因果证据。
arXiv NLP21 天前
#注意力头
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究揭示大模型否定句处理失败机制
研究构建否定基准测试开源与闭源 LLM，发现 37%–71% 的情况下模型在否定问句下仍重复原答案。机制分析显示特定注意力头与 MLP 神经元通过抑制原答案检索、提升候选答案来实现否定，与人类处理方式不同，这正是失败根源。作者提出新的训练目标，在减少否定错误的同时对通用能力损害更小。
arXiv NLP25 天前
★ 3
研究比较Llama、Qwen、Gemma指令微调对知识冲突回路的影响
研究首次对基础模型与指令微调模型的知识冲突解决回路进行机制性对比，覆盖 Llama-3.2-3B、Qwen-2.5-3B、Gemma-3-4B 三个模型家族。五种独立方法一致表明，指令微调并未重建回路，而是对同一批后层注意力头进行重新加权（节点重叠度 0.60-0.82）。行为上模型更倾向参数记忆…
arXiv cs.LG40 天前
★ 3
LLM 数学应用题的四阶段分解与机制脆弱性
大模型解小学应用题准确率很高，但插入一句无关子句就可能崩溃。研究给出机制性解释：模型内部计算分解为模式抽象、运算规划、操作数绑定与计算四阶段顺序流水线，各阶段在可识别的层带产生不同中间表示。利用同一框架诊断干扰失败，可将损坏定位到运算规划这一单一阶段，其由一组注意力头实现，因果作用经双向验证。
arXiv cs.AI46 天前
★ 2
研究提出 CEA 与 BUC 方法定位 Transformer 中影响决策的注意力头
论文提出受控证据聚合（CEA）与均衡效用因果选择（BUC），通过改变提示中两个符号的数量与顺序，测量冻结 Transformer 对答案 token 的 logit 差异，从而定位因果影响决策的注意力头。在 Pythia-410M 上消融 1-12 个头可消除 65.5%-91.6% 的数量效应，…
arXiv NLP5 天前
★ 2
Optimal Hydra：面向 LLM 微调的模型异构联邦学习
论文提出 Optimal Hydra，一种面向 LLM 微调的模型异构联邦学习框架，结合全局层选择与客户端特定注意力头选择，依据本地数据分布生成客户端专属子网络 Hydra-nets。研究称这是首个针对 LLM 微调的模型异构联邦学习方法。在三个数据集上显著优于基线方法，同时降低本地资源需求。
arXiv cs.LG17 天前
★ 2
研究：句法注意力头是否影响模型行为
论文考察 Transformer 语言模型中专门处理句法关系的注意力头是否对模型的句法预测有因果作用。实验显示，即使强制这些头关注干扰名词，模型预测仍更符合主语；对句法头的干预仅在两种度量之一中显著强于随机头干预。
arXiv NLP18 天前
★ 2
解耦微调中内部表示变化与因果重要性
论文研究微调如何重塑 LLM 内部表示，发现 EAP 识别的任务相关组件集中在特定层，其分布与表示变化最大的层基本不相关。跨任务组件重叠并不带来性能迁移，且当两任务组件高度重叠时，微调一个任务可能损害另一个任务的表现。
arXiv cs.AI42 天前
这个主题的相关资产
相关公司Meta AI1