★ 2
研究追踪 Pythia 模型主谓一致句法电路的形成与稀疏化
研究者在 pythia-1b 与十个随机种子的 pythia-410m 上追踪主谓数一致的电路演化，发现该能力早期即被学会，最初由分散神经元承担。训练后期负责的注意力头发生迁移，且电路显著收缩变稀疏。结果揭示了语言知识在语言模型中的涌现与表征方式。
arXiv NLP6 天前
#句法
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究：句法注意力头是否影响模型行为
论文考察 Transformer 语言模型中专门处理句法关系的注意力头是否对模型的句法预测有因果作用。实验显示，即使强制这些头关注干扰名词，模型预测仍更符合主语；对句法头的干预仅在两种度量之一中显著强于随机头干预。
arXiv NLP18 天前