#协作学习

模型切片协作学习与推理框架

研究者提出协作学习框架，通过模型切片将大模型替换为参数预算相当的异构小模型，并用金字塔监督结合协议蒸馏与步骤级监督优化协作推理。在多跳问答、数学推理、代码生成与开放式约束生成四类任务上，性能媲美或超过原大模型与多智能体基线，同时推理效率更高。