MDP（马尔可夫决策过程）

马尔可夫决策过程由状态空间、动作空间、转移概率、奖励函数和折扣因子构成，满足马尔可夫性质，即未来状态仅依赖于当前状态和动作。MDP是强化学习的理论基础，通过动态规划或采样方法（如Q-learning、策略梯度）求解最优策略。部分可观测MDP（POMDP）扩展了状态不完全可观测的情形。MDP广泛应用于机器人路径规划、资源分配和自动驾驶决策。