技术
Off-policy（离策略）
Off-policy是强化学习中的策略评估方式，允许使用与当前策略不同的行为策略生成的数据来学习目标策略，解决数据利用效率问题，典型算法如Q-learning、DDPG，广泛应用于机器人控制与游戏AI。
详细解释
在强化学习中，on-policy方法要求行为策略与目标策略一致，数据利用率低；off-policy方法则通过重要性采样或Q函数学习，从旧策略或探索策略产生的数据中估计目标策略价值。这提高了样本效率，但可能引入高方差。深度Q网络（DQN）和软演员-评论家（SAC）是off-policy的代表，常用于需要大量交互的复杂环境。
别名与相关写法
off-policy
相关术语
Off-Policy Evaluation共现 3 篇
Distillation共现 2 篇
强化学习共现 2 篇
论文共现 2 篇
on-policy distillation共现 1 篇
Large Language Models共现 1 篇
相关公司
相关资讯
CBPO：统一离线示范与在线策略 rollout 的推理后训练方法2026/10/12
研究揭示在线策略蒸馏中教师模型存在离策略不对称2026/10/1
MInTRL：离策略干预增强在线强化学习2026/9/14
PhiBE-PI 用离散离策略数据实现连续时间 RL 端到端保证2026/10/22
arXiv 提出 TailCert：离策略分位数认证的覆盖悬崖分析2026/10/19
GGPO：面向可验证奖励离线强化学习的 Gibbs-Gap 策略优化2026/10/16
预算化多源反事实标注用于离策略评估2026/10/9