Model Collapse（模型崩溃）

Model Collapse由Shumailov等人在2023年提出，当模型递归使用自己生成的数据训练时，会逐渐丢失原始数据分布中的尾部信息，导致模型退化。例如，语言模型可能生成重复、无意义的文本。该现象警示了在训练中混合真实数据的重要性，并引发了对AI自我改进风险的讨论。