★ 2
D²-OPD：解耦外推方向与距离的在线策略蒸馏
论文针对外推式在线策略蒸馏中方向与距离耦合的问题，提出 D²-OPD，用逐前缀硬 KL 约束限制目标与教师的距离，并用自适应组合决定外推方向。在数学推理基准的三种设置下均取得最高分，最强基线最多被超出 9.45 分。
arXiv cs.LG6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文针对外推式在线策略蒸馏中方向与距离耦合的问题，提出 D²-OPD，用逐前缀硬 KL 约束限制目标与教师的距离，并用自适应组合决定外推方向。在数学推理基准的三种设置下均取得最高分，最强基线最多被超出 9.45 分。