Offline RL（离线强化学习）

离线强化学习（Offline RL）旨在仅利用已有的历史数据（由行为策略生成）来学习最优策略，而不进行任何在线探索。其核心挑战是分布偏移（distribution shift），即学习到的策略可能查询到数据集中未出现的动作，导致价值估计错误。主要方法包括：1）策略约束，如BCQ限制学习策略接近行为策略；2）价值正则化，如CQL惩罚未知动作的Q值；3）模型基方法，如MOPO。Offline RL在医疗、自动驾驶、推荐系统等领域有广泛应用前景。