★ 2
arXiv 论文提出互正交置换模型合并方法
该论文研究预训练模型合并中的线性模式连通性（LMC），指出此前需要大幅加宽网络才能实现。作者提出通过搜索鼓励「互正交」的置换，抑制模型间权重与表示的干扰，从而在更小宽度下实现 LMC。方法将搜索建模为逐层二次分配问题并用 Frank-Wolfe 近似求解，还能合并不同数据分布训练的模型。
arXiv cs.LG2 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文研究预训练模型合并中的线性模式连通性（LMC），指出此前需要大幅加宽网络才能实现。作者提出通过搜索鼓励「互正交」的置换，抑制模型间权重与表示的干扰，从而在更小宽度下实现 LMC。方法将搜索建模为逐层二次分配问题并用 Frank-Wolfe 近似求解，还能合并不同数据分布训练的模型。