★ 3
arXiv 研究自然语言自编码器 NLA 能否泛化到微调模型
论文系统检验自然语言自编码器（NLA）在训练设定之外的泛化能力，围绕组合结构、对微调版本的迁移、模型差异比对中的目标恢复与专门化四个问题展开。在三个模型家族共四个模型上，四项问题基本得到肯定答案，NLA 可无需重训复用于轻量微调模型，并能从激活差异中恢复被隐藏的秘密词。
arXiv NLP10 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文系统检验自然语言自编码器（NLA）在训练设定之外的泛化能力，围绕组合结构、对微调版本的迁移、模型差异比对中的目标恢复与专门化四个问题展开。在三个模型家族共四个模型上，四项问题基本得到肯定答案，NLA 可无需重训复用于轻量微调模型，并能从激活差异中恢复被隐藏的秘密词。
研究考察七个指令模型在相同提示下的列表计数错误，发现错误模式因模型而异：Qwen 与 Gemma 27B 常把奇数翻转为邻近偶数，OLMo 集中在少数中等整数，Llama 倾向少计。这些模式并非稳定的家族规律，子词碎片化也未加重计数难度。线性探针通常仍能从残差流恢复真实计数，提示后期 MLP 幅度…