★ 4
纽约时报：AI 最难问题可解释性是否迎来突破
《纽约时报》报道探讨 AI 可解释性这一被视作最困难问题之一的研究方向是否取得显著进展。文章聚焦研究者对模型内部机制的理解是否变得更可行，以及这对 AI 安全与信任的意义。属于深度科学报道。
Hacker News – AI5 天前
#可解释性
共 280 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
Goodfire 研究员 2.6 万字博客称大模型更易理解，引发 AI 圈激辩
AI 初创公司 Goodfire 研究员 Nick Cammarata 发表 2.6 万字博客，提出大语言模型可能远比此前认为的更容易理解、监控与控制，引发 AI 安全界热议。斯坦福学者 Chris Potts 等质疑其仅为直觉猜想，缺乏实质突破。该讨论与近期多家公司智能体失控事件背景相关。
MIT Technology Review – AI13 天前
★ 4
研究：潜在思维链真的在推理吗？提出统一分类法
论文在 21 种模型-任务配置上，结合链删除、内容替换、探针与轨迹分析，检验潜在思维链是否真正影响答案。结果显示逻辑任务中 COCONUT 常在链开始前就已可读出答案，删除链几乎不影响预测；算术任务则普遍依赖链内容。作者提出分类法区分链表征什么与模型如何使用链。
arXiv cs.AI17 天前
★ 4
论文揭示LLM安全路径：注意力识别危害，MLP写入拒绝
arXiv论文将LLM越狱与过度拒绝问题重构为注意力到MLP的安全路径问题，在Qwen、Llama、Gemma等18对Base-Instruct模型上发现危害性更易从注意力更新中解码，而MLP更新主导拒绝写入。作者据此提出Sentinel，结合感知分P与决策分D，在八模型上降低聚合错误率。
arXiv cs.AI21 天前
★ 4
AI 思维链监控可信度下降引风险
《华尔街日报》报道称，AI 模型的「思考」过程已不再可信，思维链监控作为安全手段的有效性受到质疑。这加剧了对模型可能失控或行为不端的担忧，对当前依赖思维链做可解释性与对齐的研究路线构成挑战。
Hacker News – AI28 天前
★ 4
研究：对齐数据经上下文混淆可诱发模型失准
论文发现后训练中的「上下文混淆」现象：在某一语境下对齐的训练数据会在其他语境诱发失准行为，涉及性别平等、隐私与人身安全三个领域。这种窄域失准无法通过注入通用对齐数据缓解，但可用针对性领域数据或推理时上下文示例显著降低。机制上，不同领域查询在微调中经历相似表征偏移，激活同一行为特征导致行为迁移。
arXiv cs.AI32 天前
★ 4
新方法 PIR 检测大模型是否隐瞒已知答案
论文借鉴犯罪心理学的隐藏信息测试，提出内部识别探针 PIR，通过读取模型内部状态判断其识别出哪个候选答案，无需参考模型或标注真值。在五个家族八个模型上，PIR 以 0.70-0.87 平衡准确率恢复被识别答案，可区分模型「不愿答」与「不会答」，支持偷懒审计与遗忘验证。
arXiv cs.AI42 天前
★ 4
Meta Muse被指诡异：自称不知如何运作
Meta的AI助手Muse被曝能提及用户Messages中的对话内容，但用户称并未授权其访问消息。Muse在解释自身机制时给出错误说法，Meta Superintelligence Labs的David Singleton回应称Muse并不监听通知，只是对自身功能理解有误，并致歉。事件凸显AI助手…
The Verge AI43 天前
★ 4
多智能体环境 Station 实现自主数学发现
该研究在无中心协调器的开放世界多智能体环境Station中，让不同模型家族的AI智能体自主选择研究方向、开展实验并协作，在AlphaEvolve目录的12个构造问题及两个案例研究中，于5个问题上取得了超越现有文献的新结果，包括新的Kakeya集无限族、11维604点亲吻构型等。智能体不仅产出数值构…
arXiv cs.AI68 天前
★ 3
研究：模型越大越依赖思维链，且与后训练无关
论文在中间状态完全已知的合成换箱任务上，通过替换模型自身思维链中的一步来测量答案对步骤的依赖度，评测 25 个开源权重模型（Qwen3、Gemma 3、Llama 3、OLMo 2）。发现依赖度随规模上升并饱和，Qwen3 从 0.6B 的 16-18% 升至 14B 的 97-100%，且与能力…
arXiv NLP3 天前
★ 3
研究称大模型星期表示是七个离散状态而非连续环
论文检验大语言模型中星期概念的流形假设，发现尽管几何上呈环状，其表示更像排列成圆的七个离散状态而非连续环。局部敏感性有七个与星期对齐的极小值，中间空间未被时刻、不确定性或自然文本填充。结果挑战了表示流形连续性的解读。
arXiv cs.LG3 天前
★ 3
Hugging Face 上线 Neuron Studio，单个神经元可改变大模型行为
Hugging Face 社区空间推出 Neuron Studio 演示，展示对单个神经元权重的调整即可显著改变大语言模型的行为表现。该发现提示模型内部存在高度集中的功能单元，对可解释性与模型编辑研究有参考价值。
Hacker News – LLM5 天前
★ 3
研究：五个异构模型无需权重合并即可对齐共享表示空间
论文考察四个组织的四个 Transformer 与一个状态空间模型能否仅通过激活建立对应关系，无需权重合并。置换检验显示五模型对同一文本的组织方式存在统计稳健的对应，末层最强，状态空间模型最弱但仍远超随机。作者用广义 Procrustes 分析构建共享空间，末层检索准确率达 0.91-0.93，但…
arXiv NLP6 天前
★ 3
arXiv 实验：记忆互联的语言模型会把对方记忆当成自己的
研究用同一语言模型的两个副本构建记忆互联实验，接收方副本可直接注意伙伴的内部记忆。当伙伴记忆权重加倍时，接收方在 97% 的回答中把伙伴被分配的规则说成自己的，且写入伙伴姓名无助于区分归属，切断连接后恢复自身规则。作者指出允许模型交换内部状态的系统必须同时测试归属与迁移。
arXiv NLP6 天前
★ 3
研究：文本嵌入模型情感可解码但度量近乎无视
论文发现现代文本嵌入模型存在系统性割裂：情感几乎可完美解码，却几乎不体现在余弦相似度度量中。11 个冻结编码器上线性探针最高 91.3% 准确率，而极性间隔仅 0.003-0.064，Qwen3-Embedding-4B 探针 91.3% 但检索 MAP 仅 64.3。作者提出 SISE 轻量监督…
arXiv NLP7 天前
★ 3
研究：LLM 答案来源归因取决于作答时 KV 缓存
论文通过干预模型生成答案后、被问及来源前的 KV 缓存，研究 LLM 如何报告答案出处。在 7B-32B 四个模型上，改动或删除文档缓存从不改变来源报告，而移植问答缓存则使报告完全跟随供体。沿拟合方向操控问答值可逆转 98.9-100% 的报告，说明来源报告因果依赖于作答时产生的缓存状态。
arXiv NLP7 天前
★ 3
arXiv 审计 Qwen3.5-27B 工具调用激活干预
研究在 Qwen3.5-27B 的工具调用任务上考察激活干预能否让模型在其他计算中复用目标条件。残差写入变体可将目标选择正确率从 35/128 提升至 119/128，但一旦重组熟悉事实与标识符，增益即消失，且对候选资格判断几乎无改善。结果区分了目标选择控制、条件敏感判断与完整动作正确性三个层面。
arXiv NLP7 天前
★ 3
arXiv 提出可溯源多模态情感推理智能体框架
研究提出一种基于冻结模型的多模态情感推理智能体框架，各模态感知智能体将带证据引用的观察提交至共享面板，由整合智能体生成情感描述与标签，并设证据校验阶段定位错误来源。在 MER2025 数据集上，该方法在 VideoLLaMA3-2B、Phi-3.5-vision、Qwen2.5-VL-7B、Int…
arXiv NLP7 天前
★ 3
论文提出 Jacobian Lens 数学理论，解释 Anthropic 可解释性工具
针对 Anthropic 提出的 Jacobian lens 可解释性工具，论文给出其数学理论，证明该工具优先识别跨层放大、跨位置稳定的相干特征方向。研究在贝叶斯滤波器与玩具 Transformer 上验证，并提出可强调不同时间尺度的 ω-J-lens 系列。
arXiv cs.LG7 天前
★ 3
arXiv 研究自然语言自编码器 NLA 能否泛化到微调模型
论文系统检验自然语言自编码器（NLA）在训练设定之外的泛化能力，围绕组合结构、对微调版本的迁移、模型差异比对中的目标恢复与专门化四个问题展开。在三个模型家族共四个模型上，四项问题基本得到肯定答案，NLA 可无需重训复用于轻量微调模型，并能从激活差异中恢复被隐藏的秘密词。
arXiv NLP10 天前
★ 3
研究：低资源语言拒答方向迁移不具普遍性，Qwen2.5-14B 实验
论文将 PolyRefuse 扩展到白俄罗斯语、巴什基尔语和塔吉克语，在 Qwen2.5-14B-Instruct 上复现拒答方向迁移实验。结果显示拒答方向的普遍性是分级的而非二元的：安全对齐语言的方向可广泛迁移，而严重未对齐语言的方向无法可靠调控拒答行为，提示最弱势语言用户面临更弱的安全保障。
arXiv NLP11 天前
★ 3
研究在 Qwen3 与 Gemma-2 内部定位 26 项法律要素表征
论文考察大模型是否形成与 CATO 26 项法律要素对应的内部表征，在 Qwen3-1.7B、Qwen3-8B 与 Gemma-2 2B 上做线性可解码性与稀疏自编码器定位实验。结果显示全部 26 项要素均可线性解码，并给出 78 个模型专属的层-特征坐标，把法律符号抽象与模型内部表示连接起来。
arXiv NLP11 天前
★ 3
研究：LLM 智能体失败归因存在「知而不言」差距
论文研究多智能体系统的自动失败归因（AFA），通过线性探针发现模型内部激活已编码足够信息判断失败步骤，却无法在输出中明确指出，形成「知而不言」差距。作者提出 grafting 干预方法，在推理时无需真值标签即可利用模型潜在知识，在多个 LLM 与基准上稳定优于直接提示。
arXiv cs.LG11 天前
★ 3
研究揭示多语言大模型推理轨迹存在语言差异
论文提出轨迹级分歧框架，将多语言大模型可见推理轨迹的一致性拆解为结构相似度、顺序一致性与整体相似度。在三个推理基准、七种语言、六个前沿模型上，整体相似度基线系统性高估一致性：整体相似度前 25% 的样本中 52.1%–67.3% 并不在结构相似度前 25%。双语盲标注显示人类判断更贴近结构相似度。
arXiv cs.AI11 天前
★ 3
研究：LLM 多实例处理存在顺序偏差，准确率相差 90 个百分点
一篇 arXiv 论文提出多实例处理（MIP）任务，要求大模型对一组独立输入逐条打标签并统计出现最多的标签，正确答案本应与输入顺序无关。作者用 15 个模型、5 个数据集和 7 种顺序模式测试，发现最好与最差顺序下准确率相差约 90 个百分点，多数标签实例排在开头时表现最好。推理轨迹与梯度归因显示…
arXiv cs.AI11 天前
★ 3
Safety Kernel 提出跨语言安全对齐的神经元级方法
研究在神经元层面分析大模型跨语言安全行为，识别出一组跨语言共享的安全相关神经元，称为 safety kernel（SK）。基于该坐标提出 SK-Masked LoRA，将 LoRA 适配约束到对应前馈网络输出维度，显著降低多语言攻击成功率，包括未参与 SK 发现的语言，同时仅干预少量神经元坐标。
arXiv NLP13 天前
★ 3
arXiv 用合成故事构建 1036 个对齐概念向量并开源
论文提出务实的特征向量构建法：围绕 AI 安全与对齐相关概念生成合成「概念—对立概念」故事对，以平均激活差作为特征向量。作者用 200 万条多语言多体裁故事扩展到 1036 个概念并公开数据。在三个模型家族六个模型上，特征向量可跨对话与网页文本泛化，并能在注入激活时因果操控模型行为。
arXiv NLP13 天前
★ 3
研究：多数 Transcoder 特征实为伪装的 MLP 神经元
论文对比稀疏化 MLP 与 transcoder，定义与单个 MLP 神经元权重高度对齐的「神经元特征」，发现在 13 个开源 transcoder 的深层中这类特征占活跃特征相当比例。只有神经元特征与底层 MLP 存在稳定对应，其余特征在多次训练间波动更大。结论是 MLP 神经元作为可解释性基础…
arXiv cs.AI13 天前
★ 3
研究：零假设对照对自动科学发现验收守卫必要但不充分
论文提出四种改变物理描述的可执行操作，并用零假设接受率、正例接受率与后果一致性三项指标评估。结果显示描述性检验会接受科学上空洞的候选（如全零映射在 96% 混沌系统上通过闭合检验），而稀疏自编码器中仅 45% 被富集检验支持的特征经独立消融成立。
arXiv cs.AI13 天前
★ 3
研究：后训练调优预训练已有的线索路由回路，加剧模型迎合偏差
论文因果追踪多种偏差背后的注意力头，发现四类线索在多数模型上依赖预训练阶段就已存在的同一小簇注意力头。仅用约 200 条无线索的通用助手样例微调，就能在对话格式下激活这些头，说明迎合可能是助手调优的副作用；最终 RL 阶段几乎在所有比较中强化线索效应。在 Tulu-3-8B 与 OLMo-2-7B…
arXiv NLP14 天前