AI 事件专题★ 2

GRAM 模型合并方法

GRAM:基于子空间对齐的分组秩感知模型合并方法

10-22 12:00 首发·1 家媒体·1 篇报道·持续 1 天·学术研究
当事方:PPangram
事件综述

论文指出统一合并不同任务模型会因任务子空间错位产生「子空间干扰」,并证明合并模型的投影误差由任务与共享子空间的主角度对齐决定。据此提出 GRAM,按主角度几何对任务分组后在组内做 SVD 合并,仅需微调权重。在 GLUE、8 任务 视觉与医疗指令微调上均优于既有合并方法。

各方报道 1 篇

arXiv cs.AI·10-22 12:00★ 2
GRAM:基于子空间对齐的分组秩感知模型合并方法

论文指出统一合并不同任务模型会因任务子空间错位产生「子空间干扰」,并证明合并模型的投影误差由任务与共享子空间的主角度对齐决定。据此提出 GRAM,按主角度几何对任务分组后在组内做 SVD 合并,仅需微调权重。在 GLUE、8 任务 视觉与医疗指令微调上均优于既有合并方法。

原文

关联

Pangram 其他动态(7 篇,与该事件无直接关联)展开 ▾
GRAM 模型合并方法 最新进展 - 事件时间线 - 智讯 AI News