★ 4
Goodfire 研究员 2.6 万字博客称大模型更易理解，引发 AI 圈激辩
AI 初创公司 Goodfire 研究员 Nick Cammarata 发表 2.6 万字博客，提出大语言模型可能远比此前认为的更容易理解、监控与控制，引发 AI 安全界热议。斯坦福学者 Chris Potts 等质疑其仅为直觉猜想，缺乏实质突破。该讨论与近期多家公司智能体失控事件背景相关。
MIT Technology Review – AI13 天前
#机制可解释性
共 21 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究用机制可解释性比较 GPT-2 与 DistilGPT-2 蒸馏后电路存留
论文用线性 CKA、logit lens、注意力模式分解、稀疏自编码器特征统计与激活修补，对比 GPT-2 与六层学生模型 DistilGPT-2 在 IOI 与 Greater-Than 两个电路上的差异。结果显示 IOI 电路完全机制崩塌（准确率 35.2% vs 94.8%），而 GT 电路…
arXiv NLP4 天前
★ 3
论文提出 Jacobian Lens 数学理论，解释 Anthropic 可解释性工具
针对 Anthropic 提出的 Jacobian lens 可解释性工具，论文给出其数学理论，证明该工具优先识别跨层放大、跨位置稳定的相干特征方向。研究在贝叶斯滤波器与玩具 Transformer 上验证，并提出可强调不同时间尺度的 ω-J-lens 系列。
arXiv cs.LG6 天前
★ 3
研究：奖励模型窄域有害微调可泛化至七个领域
论文对 Skywork-Reward-V2-Llama-3.1-8B 与 Skywork-Reward-V2-Qwen3-8B 两个奖励模型做窄域有害偏好微调，发现其在医疗或金融领域的偏好反转会泛化到七个留出领域，且在 RewardBench 2 上仅小幅下降。机制上表现为表征几何压缩与有害表征向…
arXiv cs.AI12 天前
★ 3
VPD：对抗式参数分解解读语言模型参数
论文提出对抗式参数分解（VPD）方法，将语言模型参数分解为仅实现模型学习算法一小部分的简单子组件，同时只需少量子组件即可解释网络在任意输入上的行为。该方法在对抗性选择的消融下仍保持输入输出行为，鼓励学习可机制性忠实描述网络行为的子组件。研究进一步分析子组件间交互序列如何产生输出，开启新型「电路」分…
arXiv cs.LG16 天前
★ 3
图 Transformer 为何不关注同一 token？
研究发现 SoTA 图 Transformer GRIT 在分子上很少形成注意力汇，且训练图越大汇越少，与 LLM 趋势相反。理论上图的对称性与局部性限制节点可接收的注意力，但分子上真正阻止汇的是注意力评分函数：将 GRIT 的门控 logit 换成点积，汇率从 0.09 升至 0.68。
arXiv cs.LG17 天前
★ 3
研究：神经网络模块化程度高于单神经元所示
论文提出单元级、正交、线性三层嵌套的模块化层级，通过选择性消融进行因果评估。研究发现视觉模型、语言模型和多任务RNN虽缺乏单元级模块化，却常在子空间层面表现出清晰的功能模块化，内容与风格、语法与语义可分离，且与脑数据对齐存在差异。
arXiv cs.AI20 天前
★ 3
arXiv：U-Space 揭示语言模型不确定性来源
研究提出 U-Space，一个低维子空间，使模型演化中的不确定性可测量、可解释。方法识别怀疑与确定的语义锚点，将其反嵌入方向映射回残差空间并组合成正交基，U-Lens 将每个 token 状态投影得到可解释的不确定性图。无需正确性标签、重复生成或训练，在推理基准上优于现有基线。
arXiv NLP24 天前
★ 3
空间归纳头：多维元胞自动机的上下文学习
论文研究 Transformer 如何在多维随机与确定性元胞自动机中克服序列化带来的空间路由问题，提出「空间归纳头」——两层 gather-and-match 电路，第一层重建空间邻域，第二层与先前出现匹配。作者证明空间路由所需位置维度仅取决于局部邻域与空间维度，并构造实现贝叶斯计数的匹配层。训练…
arXiv cs.LG24 天前
★ 3
WISE 与 JuntaLearner：交互感知的电路发现
针对机制可解释性中逐组件打分忽略上下文交互的问题，论文提出见证集成集合效应（WISE）因果估计量，避免组合枚举。基于此的 JuntaLearner 通过梯度方法按因果影响对组件排序，在多个任务与模型规模上取得更高电路识别分数，且成本不随候选组件数增长。
arXiv cs.LG26 天前
★ 3
研究：RL自我发现中学习历史是资产还是负担
论文对自发现RL规则Disco103进行首次因果机制审计，围绕「经验时代」五大支柱展开。通过固定、冻结、移植循环状态，发现循环历史能扩展可用奖励尺度，历史错配的惩罚源于持续钳制，而环境变化下回放保留会混淆内在可塑性。该工作为下一代自演化RL算法建立审计标准。
arXiv cs.AI32 天前
★ 3
研究：对抗训练下表征简洁性与电路规模脱钩
论文以对抗训练为受控工具，检验稀疏自编码器可分解性与集中特征归因是否真能预示更小、更易逆向的因果电路。基于同一GPT-2 Small检查点做匹配的常规与对抗持续训练后，鲁棒模型SAE可分解性更高、任务归因中激活特征更少，但电路规模呈阈值依赖：低忠实度下标准模型占优，高忠实度（90%、95%）下鲁棒…
arXiv cs.AI32 天前
★ 3
流递归模型 SRM：面向可解释性的架构
论文提出流递归模型（SRM），对分层推理模型（HRM）进行改造，将计算组织为多个相互作用的潜在流并通过递归精炼更新，从而直接分析流动态、因果贡献与路由行为。SRM 在每参数性能上与 GPT-2 相当，并展现出结构化的流专业化与交互，为可扩展的机制可解释性提供架构基础。
arXiv cs.LG37 天前
★ 3
Transformer 中的世界建模机制研究
论文以在曼哈顿随机游走上训练的 TaxiGPT 为例，通过机制分析与因果干预证明模型实际学到了路口、街道表征、位置追踪与目标罗盘导航能力。其失败源于叠加路口特征间的干扰，而 affordance packing 可缓解该问题。研究提出机制指标比较模型，并主张从「是否有世界模型」转向机制化研究世界建…
arXiv cs.AI41 天前
★ 2
MIOE 基准评估 LLM 本体工程机制可解释性
论文提出 MIOE 因果抽象基准，评估 LLM 在本体工程任务（实体类型判定、包含关系预测）中的内部机制。在 Qwen3-8B 与 Qwen3-4B 上比较 SAE、DBM、DAS 等方法，发现分布式子空间方法效果最强但难以与类别辅助信息完全解耦。结果表明本体预测在机制上可及，但尚无干净的因果机制。
arXiv cs.AI2 天前
★ 2
用行为反事实解释模型推理过程
论文提出行为反事实方法，通过训练模块编辑残差流以最小化固定回复在源提示与反事实提示下的输出分布 KL 散度，从而定位干预对推理的影响。在 Gemma-4-E4B-it 与 DeepSeek-R1-0528-Qwen3-8B 上的案例研究发现，即使模型未口头承认，提示中的建议仍会通过问题陈述与填充词…
arXiv cs.LG9 天前
★ 2
研究借失语症框架剖析 LLM 语言功能结构
论文借鉴临床失语症，提出分类器引导的损伤与连续激活引导两种方法，在 LLM 中系统诱发类失语症的功能崩溃。研究发现语言功能可被定位到离散结构回路与连续表征向量，但不同失语症剖面间存在显著回路重叠与向量相似，说明 LLM 依赖高度纠缠的架构。
arXiv NLP10 天前
★ 2
论文提出 Guided-AP：用少量精确测量校正归因补丁
针对机制可解释性中归因补丁估计误差大的问题，研究提出 Guided-AP，用少量精确测量揭示误差结构并校正未测组件的估计值。单提示下误差最多降低 26%，多提示下事实补全任务的平均效应误差降低 75% 至 79%，可在长分析中收回测量成本。
arXiv cs.AI11 天前
★ 2
研究揭示循环 Transformer 逐迭代执行算法步骤机制
论文研究权重共享的循环 Transformer 在深度受限算法任务上的机制，以有向置换遍历为测试任务。发现存在最小有效深度，超过后权重绑定程度成为决定因素：四层块迭代八次的循环模型稳定解题，同有效深度的非绑定模型则失败。探针显示循环模型逐节点推进形成阶梯，可视为迭代式程序学习器。
arXiv cs.LG12 天前
★ 2
arXiv 研究：代码模型因果语法电路受预算与探针影响
研究对十个开源代码模型、55 个模型-语言设置运行均值消融、激活修补、贪心电路提取等流程，考察代码模型默认输出 Python 的偏好是否由局部组件产生。发现该偏好的测量大小主要取决于探针，且是否显得局部化取决于搜索保留的组件预算。研究强调行为局部化结论高度依赖分析选择。
arXiv cs.LG16 天前
★ 2
AI理解的复调式概念
论文探讨医生、法官、工程师在信任AI输出时无法回避的「模型是否理解」问题。作者指出传统单机制式（monophonic）理解观不适用于LLM，因为其输出来自多个可靠性不一的并行机制联盟，彼此互补、重复或淹没。论文提出以「可靠且正确被调用并控制输出的健全电路」为核心的复调式理解观，使理解归因成为可处理…
arXiv cs.AI32 天前