★ 2arXiv 论文提出 FUW：基于 Fisher 效用加权的在线蒸馏令牌选择方法该论文针对在线策略蒸馏（OPD）中的令牌选择问题，提出从蒸馏目标本身推导令牌重要性，得到效用函数 s_t = g_t^T F_t^† g_t，其中 g_t 为 logit 梯度、F_t 为类别 Fisher 矩阵。作者将其实例化为 Fisher Utility Weighting（FUW），一种连…arXiv cs.LG18 天前