★ 2
ATI-OPD：自适应教师干预稳定长序列在线策略蒸馏
针对在线策略蒸馏中学生长回答前缀偏离教师推理、导致训练不稳的问题，论文提出ATI-OPD：用教师短片段替换最早的高分歧片段，让学生从修正文本继续推理，并剔除持续分歧的尾部。在五个数学推理基准与两组师生模型对上，平均准确率优于标准OPD。
arXiv NLP3 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对在线策略蒸馏中学生长回答前缀偏离教师推理、导致训练不稳的问题，论文提出ATI-OPD：用教师短片段替换最早的高分歧片段，让学生从修正文本继续推理，并剔除持续分歧的尾部。在五个数学推理基准与两组师生模型对上，平均准确率优于标准OPD。