Phase Transition（相变）

相变原指物理系统状态随参数连续变化而发生的突变。在机器学习中，它描述模型性能随参数量、数据量或计算量增加而出现的非线性跃升，例如大语言模型在特定规模后突然获得算术或推理能力。这种现象挑战了传统的平滑缩放律，表明能力涌现可能源于任务对模型容量的阈值要求。研究者通过缩放定律和涌现能力分析来预测相变点，对模型设计与训练资源分配具有指导意义。