技术
Recursive Training(递归训练)
Recursive Training指模型利用自身生成的输出作为后续训练数据,进行迭代训练的过程,可能导致性能提升或退化。
详细解释
Recursive Training常见于自我对弈、自蒸馏等场景。模型在每轮训练中生成新数据并更新参数,理论上可自我改进,但实际中可能因错误累积而崩溃(如Model Collapse)。该技术需谨慎设计,如引入真实数据或多样性奖励,以维持模型性能。
别名与相关写法
recursive training
Recursive Training指模型利用自身生成的输出作为后续训练数据,进行迭代训练的过程,可能导致性能提升或退化。
Recursive Training常见于自我对弈、自蒸馏等场景。模型在每轮训练中生成新数据并更新参数,理论上可自我改进,但实际中可能因错误累积而崩溃(如Model Collapse)。该技术需谨慎设计,如引入真实数据或多样性奖励,以维持模型性能。