★ 3
MATCHA:跨模型激活对齐学习方法
arXiv 论文提出 MATCHA,学习源模型到目标模型的激活对齐,将映射分解为可提取检查的层映射矩阵与层共享特征映射,二者从提示词联合学习。在 7 个模型 42 对组合上更忠实重建目标激活,并支持将转向向量与探针从一个模型迁移到另一个。
arXiv cs.LG25 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
arXiv 论文提出 MATCHA,学习源模型到目标模型的激活对齐,将映射分解为可提取检查的层映射矩阵与层共享特征映射,二者从提示词联合学习。在 7 个模型 42 对组合上更忠实重建目标激活,并支持将转向向量与探针从一个模型迁移到另一个。