Offline Reinforcement Learning（离线强化学习）

离线强化学习旨在解决在线交互成本高或风险大的问题，如医疗、自动驾驶。其核心挑战是分布偏移：学习到的策略可能访问数据集中未出现的状态-动作对，导致价值估计错误。主流方法包括保守Q学习（CQL）、隐式Q学习（IQL）等，通过约束策略或价值函数来缓解外推误差。