★ 3
VPD：对抗式参数分解解读语言模型参数
论文提出对抗式参数分解（VPD）方法，将语言模型参数分解为仅实现模型学习算法一小部分的简单子组件，同时只需少量子组件即可解释网络在任意输入上的行为。该方法在对抗性选择的消融下仍保持输入输出行为，鼓励学习可机制性忠实描述网络行为的子组件。研究进一步分析子组件间交互序列如何产生输出，开启新型「电路」分…
arXiv cs.LG17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出对抗式参数分解（VPD）方法，将语言模型参数分解为仅实现模型学习算法一小部分的简单子组件，同时只需少量子组件即可解释网络在任意输入上的行为。该方法在对抗性选择的消融下仍保持输入输出行为，鼓励学习可机制性忠实描述网络行为的子组件。研究进一步分析子组件间交互序列如何产生输出，开启新型「电路」分…