各方报道 2 篇
arXiv cs.AI·08-31 12:00★ 3
SpikeOPD：脉冲语言模型稳定同策略蒸馏
原文 提出SpikeOPD，一种用于自回归尖峰语言模型的稳定在线策略蒸馏框架，解决前缀源不匹配问题。在多个模型规模上提升准确率，同时保持稀疏计算特性。
arXiv cs.AI·08-31 12:00★ 3
RA-OPD：奖励对齐的在线蒸馏防止教师误导
原文 在线蒸馏中教师模型可能提供与结果奖励不一致的误导性指导。RA-OPD 通过过滤不一致轨迹，仅保留能推动学生走向正确方向的更新，提升学生模型性能。在数学和代码基准上显著优于标准 OPD。