★ 3
VPD：对抗式参数分解解读语言模型参数
论文提出对抗式参数分解（VPD）方法，将语言模型参数分解为仅实现模型学习算法一小部分的简单子组件，同时只需少量子组件即可解释网络在任意输入上的行为。该方法在对抗性选择的消融下仍保持输入输出行为，鼓励学习可机制性忠实描述网络行为的子组件。研究进一步分析子组件间交互序列如何产生输出，开启新型「电路」分…
arXiv cs.LG17 天前
#电路分析
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：对抗训练下表征简洁性与电路规模脱钩
论文以对抗训练为受控工具，检验稀疏自编码器可分解性与集中特征归因是否真能预示更小、更易逆向的因果电路。基于同一GPT-2 Small检查点做匹配的常规与对抗持续训练后，鲁棒模型SAE可分解性更高、任务归因中激活特征更少，但电路规模呈阈值依赖：低忠实度下标准模型占优，高忠实度（90%、95%）下鲁棒…
arXiv cs.AI33 天前
★ 2
研究追踪 Pythia 模型主谓一致句法电路的形成与稀疏化
研究者在 pythia-1b 与十个随机种子的 pythia-410m 上追踪主谓数一致的电路演化，发现该能力早期即被学会，最初由分散神经元承担。训练后期负责的注意力头发生迁移，且电路显著收缩变稀疏。结果揭示了语言知识在语言模型中的涌现与表征方式。
arXiv NLP6 天前
★ 2
多语言模型首词语言广播电路解析
研究对 GPT-2、BLOOM-560M、Pythia-1B/2.8B 与 Qwen2.5-1.5B 六个模型做端到端结构电路分析，定位决定首词语言身份的有向无环图。结果显示广播枢纽多位于中深层，Qwen2.5 基座与指令版电路相似度达 84.7%，说明首词路由主要在预训练阶段形成。研究还发现 E…
arXiv cs.AI35 天前
★ 2
单次前向传播提取注意力路由电路
研究者提出将注意力视为路由图，仅通过一次前向传播提取指向答案的关键路径，并验证其因果重要性。在GPT-2 Small、GPT-2 Medium和Pythia-410M的归纳与IOI任务上，消融提取边对模型的损害远大于随机消融同规模边。该方法成本仅为逐头补丁扫描的约百分之一，但作者强调这只是廉价草图…
arXiv cs.AI40 天前
这个主题的相关资产
相关公司阿里巴巴1