#激活分析

arXiv 研究自然语言自编码器 NLA 能否泛化到微调模型

论文系统检验自然语言自编码器（NLA）在训练设定之外的泛化能力，围绕组合结构、对微调版本的迁移、模型差异比对中的目标恢复与专门化四个问题展开。在三个模型家族共四个模型上，四项问题基本得到肯定答案，NLA 可无需重训复用于轻量微调模型，并能从激活差异中恢复被隐藏的秘密词。