#在策略蒸馏

共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 2

RL教师比SFT教师更适合模型合并蒸馏

研究对比了在策略蒸馏(OPD)中,用强化学习(RL)还是监督微调(SFT)训练领域专家作为教师的效果。在Agentic、推理、感知三类任务上,RL引导的学生分别比SFT引导高出4.27、1.50、0.86个百分点,Agentic任务中甚至超越教师本身。分析认为RL教师在参数空间上更接近共享初始化,…

arXiv cs.AI34 天前

这个主题的相关资产

相关公司阿里巴巴1

相关标签

在策略蒸馏 最新资讯与动态(1 篇) - 智讯 AI News