#子空间对齐

GRAM：基于子空间对齐的分组秩感知模型合并方法

论文指出统一合并不同任务模型会因任务子空间错位产生「子空间干扰」，并证明合并模型的投影误差由任务与共享子空间的主角度对齐决定。据此提出 GRAM，按主角度几何对任务分组后在组内做 SVD 合并，仅需微调权重。在 GLUE、8 任务 CLIP 视觉与医疗指令微调上均优于既有合并方法。