★ 3
并非每个Token都值得蒸馏：Direct-OPD选择性监督
论文指出Direct On-Policy Distillation的token级对数比只衡量相对变化，在概率质量消失时奖励可保持不变。作者提出S²D-OPD，按教师参考JSD对学生采样状态排序并屏蔽低散度状态的监督，仅保留每条回答前10%状态。在1.7B至8B的四个学生模型上，八个设置中七个优于稠…
arXiv cs.LG38 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出Direct On-Policy Distillation的token级对数比只衡量相对变化，在概率质量消失时奖励可保持不变。作者提出S²D-OPD，按教师参考JSD对学生采样状态排序并屏蔽低散度状态的监督，仅保留每条回答前10%状态。在1.7B至8B的四个学生模型上，八个设置中七个优于稠…