arXiv NLPMeta AI·21 天前★ 3

arXiv 论文：语言模型具备可解释叙事机制

原文标题：Language Models Have Interpretable Narrative Mechanisms

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

研究在 GPT-2-Small、Gemma-2-2B 与 Llama-3.1-8B 中定位与「叙事性」相关的注意力头、MLP 神经元与稀疏自编码器特征。消融这些组件会提高高叙事性文本的下一 token 预测损失，并降低生成文本的叙事性，为叙事相关组件影响模型行为提供因果证据。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 语言模型是否内部存在可定位的「叙事性」表征组件尚不清楚。
方法: 在 GPT-2-Small、Gemma-2-2B、Llama-3.1-8B 中定位与叙事性相关的注意力头、MLP 神经元与 SAE 特征并做消融。
结果: 消融后高叙事性文本的下一 token 损失上升更多，生成文本叙事性下降；故事补全与叙事问答影响最大，幻觉基准结果混杂。
影响: 为可解释性提供叙事维度的因果证据，但组件组织与叙事理论关联仍是开放问题，暂不宜直接用于产品控制。

深读 · 结论先行AI 生成展开看要点与影响 ↓

在GPT-2-Small、Gemma-2-2B、Llama-3.1-8B中定位叙事相关组件并获因果证据

为什么重要：为「叙事性」这一抽象文本属性提供了可定位、可消融的内部组件证据，是机制可解释性从事实类能力扩展到风格/结构类属性的一个案例。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：Language Models Have Interpretable Narrative Mechanisms

AI 中文标题：arXiv 论文：语言模型具备可解释叙事机制

来源：arXiv NLP · 发布于 21 天前

分类：学术研究 · AI 重要度：★ 3（3）

标签：可解释性 / 稀疏自编码器 / 叙事性 / 注意力头 / 机制分析

关键词：LLM 可解释性 / 稀疏自编码器 / 叙事机制 / AI 论文

AI 处理：2026/10/12 12:01:20 · 模型 deepseek-chat · 规则版本 2026-10-10.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐