★ 3
GVPO++：面向LLM后训练的策略优化新法
论文提出GVPO（组方差策略优化），将KL约束奖励最大化的解析解融入梯度加权，避免对重要性采样的依赖，从而缓解训练不稳定问题。GVPO保证唯一最优解，并自然扩展到在线策略蒸馏（OPD），支持多样化目标设计。该方法为可靠、通用的LLM后训练提供新范式。
arXiv cs.AI42 天前
#在线蒸馏
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
RA-OPD：奖励对齐的在线蒸馏防止教师误导
在线蒸馏中教师模型可能提供与结果奖励不一致的误导性指导。RA-OPD 通过过滤不一致轨迹，仅保留能推动学生走向正确方向的更新，提升学生模型性能。在数学和代码基准上显著优于标准 OPD。
arXiv cs.AI63 天前
★ 2
CCE-OPD：条件对比外推改进语言模型在线蒸馏
论文提出条件对比外推在线蒸馏（CCE-OPD），通过固定前缀对比与有界对数概率对比，让教师模型监督对问题条件更敏感，减少无效续写偏好。在 200 个诊断推理状态上，无效续写偏好率从 27.0% 降至 16.0%；将 Qwen3-8B 蒸馏到 0.6B 与 1.7B 学生模型时，六个数学基准 avg…
arXiv cs.AI17 天前
★ 2
这个主题的相关资产
相关公司阿里巴巴1