CBPO：统一离线示范与在线策略 rollout 的推理后训练方法
原文标题：Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
研究者提出 Cross-Behavior Policy Optimization（CBPO），通过固定参考目标的回归损失，将离线示范、参考回答以及当前与历史 rollout 统一到同一优化框架中，无需单独协调 SFT 与 RL 目标，也无需重要性权重或学习 critic。在四个数学推理基准上，CBPO 取得领先的 avg@32 与 pass@32 表现；在 Qwen3-1.7B 上，CBPO-Unified 相比 SFT DAPO 分别提升 2.33 和 4.44 个百分点。
- 问题
- SFT 与 RL 目标分离，离线示范和 rollout 难以持续复用。
- 方法
- 用固定参考目标的回归损失统一离线示范、参考回答与当前/历史 rollout，无需重要性权重或 critic。
- 结果
- Qwen3-1.7B 上 CBPO-Unified 相比 SFT DAPO，avg@32 与 pass@32 分别提升 2.33 和 4.44 个百分点；保留历史 rollout 再提升 1.87 和 3.72 个百分点。
- 影响
- 后训练流程可简化为单一回归目标，历史数据持续进缓冲池复用，降低 RL 工程复杂度。
深读 · 结论先行AI 生成展开看要点与影响 ↓
CBPO用单一回归损失统一离线示范与在线rollout，Qwen3-1.7B上超SFT DAPO 2.33/4.44个百分点。
- •核心机制：固定参考目标的回归损失，让离线正负样本、参考回答、当前与历史rollout共用同一奖励标注格式与回放缓冲
- •无需协调SFT与RL两套目标，也不需要存储行为策略概率、重要性权重或学习critic
- •在四个数学推理基准上取得领先的avg@32与pass@32
- •Qwen3-1.7B上CBPO-Unified相比SFT DAPO，avg@32提升2.33、pass@32提升4.44个百分点
- •消融显示保留历史rollout比无历史版本再提升1.87和3.72个百分点
为什么重要：把后训练中割裂的SFT与RL流程合并为可复用回放缓冲的单一目标，对做推理模型后训练、想降低工程复杂度的团队有直接参考价值。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
OpenAI 宣布数学、计算机科学、物理学三项新发现
AI 摘要OpenAI 宣布在调和分析、复杂性理论和量子场论三个方向取得新发现，并采用与学术界合作的新方法。公司邀请外部专家组织团队理解研究结果，参与者无需签署保密协议、可自由讨论并发表结论，且为自愿无报酬。OpenAI 表示不会为内部模型产生的发现寻求学术署名。
数学家称需数年消化 OpenAI 最新数学成果
AI 摘要OpenAI 本周突然发布近 400 项 AI 生成的数学成果，分布在 700 多份手稿中，覆盖组合数学、几何、数论等多个领域。多位数学家表示「震惊」「难以置信」，认为仅理解这些成果就需数年，且验证程度参差不齐。
OpenAI 公布数学难题突破成果
AI 摘要OpenAI 发布由未公开前沿模型生成的 722 篇数学手稿，覆盖 372 个成果族，声称解决了数百个长期未解问题，并公开 Lean 形式化证明与算力估算。此举延续了 AI 冲击数学界的势头，也引发研究伦理与学术规范的争议。独立顾问组织 AGMAI 呼吁实验室通过正规学术渠道发布成果，而非将其当作营销工具。
OpenAI 再抛数学突破成果引争议
AI 摘要OpenAI 公布 722 篇手稿，称未发布的前沿模型解决了数百个数学开放问题，平均每个结果消耗约三小时 ChatGPT Pro 级算力。成果虽令人震撼，但数学界对发布方式、研究伦理与学术规范提出质疑。AGMAI 建议实验室及时通过正规渠道披露模型、提示词与算力成本，避免把成果当作营销手段。