★ 2
参数高效微调范畴图谱：锥、轨道与规范
论文将参数高效微调方法视为从预训练权重空间出发的平滑映射，用范畴论框架统一比较数百种方法。作者证明多项结论，如零初始化 LoRA 从锥顶点出发、LoRA 更新秩不超过自身两倍、正交方法不改变权重奇异值等。研究按七个坐标对 138 篇论文的 382 种方法进行分类。
arXiv cs.LG21 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将参数高效微调方法视为从预训练权重空间出发的平滑映射，用范畴论框架统一比较数百种方法。作者证明多项结论，如零初始化 LoRA 从锥顶点出发、LoRA 更新秩不超过自身两倍、正交方法不改变权重奇异值等。研究按七个坐标对 138 篇论文的 382 种方法进行分类。