★ 2
单次前向传播提取注意力路由电路
研究者提出将注意力视为路由图，仅通过一次前向传播提取指向答案的关键路径，并验证其因果重要性。在GPT-2 Small、GPT-2 Medium和Pythia-410M的归纳与IOI任务上，消融提取边对模型的损害远大于随机消融同规模边。该方法成本仅为逐头补丁扫描的约百分之一，但作者强调这只是廉价草图…
arXiv cs.AI40 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出将注意力视为路由图，仅通过一次前向传播提取指向答案的关键路径，并验证其因果重要性。在GPT-2 Small、GPT-2 Medium和Pythia-410M的归纳与IOI任务上，消融提取边对模型的损害远大于随机消融同规模边。该方法成本仅为逐头补丁扫描的约百分之一，但作者强调这只是廉价草图…