★ 3
DTDD：分歧触发的动态蒸馏实现可靠同策略监督
论文提出分歧触发动态蒸馏（DTDD），利用片段级学生-教师分歧在训练中触发教师接管，学生前缀继续接受标准 OPD 监督，教师生成恢复后缀供行为克隆学习。DTDD 将预热后峰值梯度范数降低 8.6 倍，在 ALFWorld 上分别提升 4.8 和 4.1 个百分点。
arXiv cs.LG18 天前
#同策略蒸馏
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
选择性同策略蒸馏中的学习率纠缠
论文指出选择性同策略蒸馏文献中共享学习率的对照并不中性：在 GSM8K 上，密集监督对学习率不敏感，而各选择性方案随学习率大幅波动，导致密集与选择性的结论相差可达 2 倍。作者称之为“选择器—学习率纠缠”，并建议报告方案×学习率矩阵而非单列结果。
arXiv cs.LG41 天前