技术
Composite Gradient(复合梯度)
复合梯度指在优化过程中结合多个梯度分量(如不同损失项或任务)形成的梯度,用于多任务学习或元学习。
详细解释
Composite Gradient(复合梯度)并非单一算法,而是描述一类梯度组合策略。在元学习(如MAML)中,它指内循环更新后的元梯度;在多任务学习中,它指多个任务梯度的加权和或通过梯度手术(如PCGrad)消除冲突后的合成梯度。其技术核心在于如何有效融合不同来源的梯度信息,以平衡多个优化目标,避免负迁移,提升模型泛化能力。
别名与相关写法
composite gradient