★ 3
CBPO：统一离线示范与在线策略 rollout 的推理后训练方法
研究者提出 Cross-Behavior Policy Optimization（CBPO），通过固定参考目标的回归损失，将离线示范、参考回答以及当前与历史 rollout 统一到同一优化框架中，无需单独协调 SFT 与 RL 目标，也无需重要性权重或学习 critic。在四个数学推理基准上，CB…
arXiv cs.LG21 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 Cross-Behavior Policy Optimization（CBPO），通过固定参考目标的回归损失，将离线示范、参考回答以及当前与历史 rollout 统一到同一优化框架中，无需单独协调 SFT 与 RL 目标，也无需重要性权重或学习 critic。在四个数学推理基准上，CB…
该研究提出不确定性引导的渐进收缩框架，用蒙特卡洛推理树刻画过程级不确定性，先将语料收缩为紧凑教师池，再在SFT中按学生状态在线路由优化。实验显示仅用全量数据SFT的0.22%优化预算、训练曝光减少450倍以上，仍能维持或提升推理性能，并可跨学生模型族与黑盒教师泛化。