Model Merging（模型合并）

Model Merging 兴起于对多任务模型的需求，传统方法需联合训练所有任务数据，但数据往往不可得或隐私敏感。该技术通过参数算术（如加权平均、任务向量）或对齐神经元排列（如 Git Re-Basin）来合并模型。它能在不访问原始数据的情况下组合能力，降低部署成本，并支持持续学习。代表工作包括 Model Soups、Task Arithmetic、TIES-Merging 和 DARE。