#专家模型

无需推理轨迹训练专家模型实现领域专家蒸馏

论文研究当专家模型仅用问答对训练、缺乏显式推理监督时，其生成的推理轨迹由什么决定。作者将学生蒸馏作为无关探针，发现专家优化隐式地从潜在轨迹空间中选择，27组专家-学生对的特化-泛化曲线高度相关。显式控制专家的分布漂移可系统性地在领域精度与通用能力保留间移动权衡，在化学、物理与多语言场景中均成立。