#机制分析

共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 3

研究：LLM 答案来源归因取决于作答时 KV 缓存

论文通过干预模型生成答案后、被问及来源前的 KV 缓存，研究 LLM 如何报告答案出处。在 7B-32B 四个模型上，改动或删除文档缓存从不改变来源报告，而移植问答缓存则使报告完全跟随供体。沿拟合方向操控问答值可逆转 98.9-100% 的报告，说明来源报告因果依赖于作答时产生的缓存状态。

arXiv NLP7 天前

★ 3

研究：多数 Transcoder 特征实为伪装的 MLP 神经元

论文对比稀疏化 MLP 与 transcoder，定义与单个 MLP 神经元权重高度对齐的「神经元特征」，发现在 13 个开源 transcoder 的深层中这类特征占活跃特征相当比例。只有神经元特征与底层 MLP 存在稳定对应，其余特征在多次训练间波动更大。结论是 MLP 神经元作为可解释性基础…

arXiv cs.AI13 天前

★ 3

arXiv 论文：语言模型具备可解释叙事机制

研究在 GPT-2-Small、Gemma-2-2B 与 Llama-3.1-8B 中定位与「叙事性」相关的注意力头、MLP 神经元与稀疏自编码器特征。消融这些组件会提高高叙事性文本的下一 token 预测损失，并降低生成文本的叙事性，为叙事相关组件影响模型行为提供因果证据。

arXiv NLP21 天前

★ 3

研究定位多语言 LLM 多跳推理桥接路由头

论文通过三阶段流程在多语言 LLM 中识别出「桥接路由头」（BRH），发现不同语言的头集合近乎互斥，平均 Jaccard 相似度仅 0.017（Llama 3.1 70B）与 0.057（Qwen 2.5 72B）。消融实验证明其因果作用，放大这些头可无需训练挽救最多 51.7% 的跨语言失败。

arXiv NLP25 天前

★ 3

研究揭示大模型否定句处理失败机制

研究构建否定基准测试开源与闭源 LLM，发现 37%–71% 的情况下模型在否定问句下仍重复原答案。机制分析显示特定注意力头与 MLP 神经元通过抑制原答案检索、提升候选答案来实现否定，与人类处理方式不同，这正是失败根源。作者提出新的训练目标，在减少否定错误的同时对通用能力损害更小。

arXiv NLP25 天前

★ 3

Mamba 模型中的全局工作空间机制

研究将 Transformer 的全局工作空间解释扩展到状态空间语言模型，对 Mamba-1/2/3 的残差流与循环状态拟合雅可比透镜。联合读出在多数任务族上优于单一残差透镜，Mamba-2 上仅状态即可超越残差与 logit 透镜。作者还提出符号保护引导方法，但关系型答案上的增益并不稳定。

arXiv cs.AI34 天前

★ 3

研究比较Llama、Qwen、Gemma指令微调对知识冲突回路的影响

研究首次对基础模型与指令微调模型的知识冲突解决回路进行机制性对比，覆盖 Llama-3.2-3B、Qwen-2.5-3B、Gemma-3-4B 三个模型家族。五种独立方法一致表明，指令微调并未重建回路，而是对同一批后层注意力头进行重新加权（节点重叠度 0.60-0.82）。行为上模型更倾向参数记忆…

arXiv cs.LG40 天前

★ 3

LLM 数学应用题的四阶段分解与机制脆弱性

大模型解小学应用题准确率很高，但插入一句无关子句就可能崩溃。研究给出机制性解释：模型内部计算分解为模式抽象、运算规划、操作数绑定与计算四阶段顺序流水线，各阶段在可识别的层带产生不同中间表示。利用同一框架诊断干扰失败，可将损坏定位到运算规划这一单一阶段，其由一组注意力头实现，因果作用经双向验证。

arXiv cs.AI46 天前