当前位置：首页 > news >正文

强化学习基础：从多臂老虎机到马尔可夫决策过程

news 2026/7/21 4:34:24

1. 强化学习基础概念解析

强化学习作为机器学习的重要分支，其核心思想是通过智能体与环境的交互学习最优策略。与监督学习不同，强化学习不需要预先标注的训练数据，而是通过奖励信号来指导学习过程。这种学习范式特别适用于序列决策问题，如游戏AI、机器人控制和金融交易等领域。

多臂老虎机问题是强化学习中最简单的模型之一。想象你站在一个有多根拉杆的老虎机前，每根拉杆对应不同的中奖概率分布。你的目标是通过多次尝试，找到能带来最大累积奖励的拉杆策略。这个问题虽然简单，但包含了强化学习的核心要素：探索（尝试新动作）与利用（选择已知最佳动作）的权衡。

2. 从多臂老虎机到马尔可夫决策过程

2.1 多臂老虎机模型的局限性

经典的多臂老虎机问题存在两个主要限制：

无状态表示：每次拉杆的决策独立于历史动作
即时奖励：动作的后果立即显现，没有延迟效应

这些问题在现实场景中往往不成立。例如在棋类游戏中，当前决策会影响后续棋局状态；在机器人控制中，动作的效果可能延迟显现。

2.2 马尔可夫决策过程的引入

马尔可夫决策过程（MDP）通过引入状态概念扩展了老虎机模型。MDP由五元组(S,A,P,R,γ)定义：

S：状态集合
A：动作集合
P：状态转移概率 P(s'|s,a)
R：奖励函数 R(s,a,s')
γ：折扣因子（0≤γ≤1）

关键性质是马尔可夫性：下一状态和奖励只取决于当前状态和动作，与历史无关。数学表示为： P(s_{t+1},r_t|s_t,a_t,s_{t-1},a_{t-1},...) = P(s_{t+1},r_t|s_t,a_t)

3. MDP核心组件详解

3.1 状态价值函数与动作价值函数

状态价值函数V^π(s)表示从状态s开始，遵循策略π的期望回报： V^π(s) = E_π[G_t|S_t=s]

动作价值函数Q^π(s,a)表示在状态s采取动作a，之后遵循π的期望回报： Q^π(s,a) = E_π[G_t|S_t=s,A_t=a]

两者关系通过策略π连接： V^π(s) = Σ_a π(a|s)Q^π(s,a)

3.2 贝尔曼方程

价值函数满足递归关系——贝尔曼方程： V^π(s) = Σ_a π(a|s)Σ_s' P(s'|s,a)[R(s,a,s')+γV^π(s')] Q^π(s,a) = Σ_s' P(s'|s,a)[R(s,a,s')+γΣ_a' π(a'|s')Q^π(s',a')]

对于最优价值函数，贝尔曼最优方程成立： V*(s) = max_a Q*(s,a) Q*(s,a) = Σ_s' P(s'|s,a)[R(s,a,s')+γV*(s')]

4. 求解MDP的实践方法

4.1 动态规划法

当模型已知时（即P和R已知），可采用策略迭代：

策略评估：通过迭代求解贝尔曼方程计算当前策略价值
策略改进：根据价值函数贪婪地改进策略

值迭代是更高效的方法，直接迭代贝尔曼最优方程： V_{k+1}(s) = max_a Σ_s' P(s'|s,a)[R(s,a,s')+γV_k(s')]

4.2 蒙特卡洛方法

当模型未知时，可通过采样轨迹估计价值函数。以首次访问型MC预测为例：

用策略π生成多条轨迹
对每个状态s，计算首次出现后的实际回报G_t
对所有G_t取平均作为V^π(s)的估计

蒙特卡洛方法不需要模型知识，但需要完整轨迹，方差较大。

4.3 时序差分学习

结合动态规划和蒙特卡洛的思想，TD(0)算法更新规则： V(S_t) ← V(S_t) + α[R_{t+1}+γV(S_{t+1})-V(S_t)]

SARSA和Q-learning是两种重要的TD控制算法：

SARSA（on-policy）： Q(S_t,A_t) ← Q(S_t,A_t) + α[R_{t+1}+γQ(S_{t+1},A_{t+1})-Q(S_t,A_t)]
Q-learning（off-policy）： Q(S_t,A_t) ← Q(S_t,A_t) + α[R_{t+1}+γmax_a Q(S_{t+1},a)-Q(S_t,A_t)]

5. 实现案例：网格世界问题

考虑4x4网格世界：

状态：16个网格位置
动作：上、下、左、右（有10%概率随机方向）
奖励：到达目标+1，其他-0.04
折扣因子γ=0.95

5.1 值迭代Python实现

import numpy as np # 定义网格世界 grid_size = 4 actions = ['up', 'down', 'left', 'right'] action_effects = { 'up': (-1,0), 'down': (1,0), 'left': (0,-1), 'right': (0,1) } # 初始化价值函数 V = np.zeros((grid_size, grid_size)) theta = 1e-4 # 收敛阈值 def is_terminal(state): return (state == (0,0)) or (state == (grid_size-1, grid_size-1)) def transition(state, action): if is_terminal(state): return state, 0 # 有10%概率执行随机动作 if np.random.rand() < 0.1: action = np.random.choice(actions) new_i = max(0, min(grid_size-1, state[0] + action_effects[action][0])) new_j = max(0, min(grid_size-1, state[1] + action_effects[action][1])) new_state = (new_i, new_j) # 定义奖励 if new_state == (0,0) or new_state == (grid_size-1, grid_size-1): reward = 1 else: reward = -0.04 return new_state, reward # 值迭代 while True: delta = 0 for i in range(grid_size): for j in range(grid_size): if is_terminal((i,j)): continue v = V[i,j] max_value = -float('inf') for a in actions: total = 0 # 考虑动作的随机性 for actual_a in actions: prob = 0.9 if actual_a == a else 0.1/3 (new_i, new_j), r = transition((i,j), actual_a) total += prob * (r + 0.95 * V[new_i, new_j]) if total > max_value: max_value = total V[i,j] = max_value delta = max(delta, abs(v - V[i,j])) if delta < theta: break print("最优价值函数：") print(V)

5.2 策略提取

根据最优价值函数提取策略：

policy = np.empty((grid_size, grid_size), dtype=str) for i in range(grid_size): for j in range(grid_size): if is_terminal((i,j)): policy[i,j] = '-' continue best_action = None best_value = -float('inf') for a in actions: total = 0 for actual_a in actions: prob = 0.9 if actual_a == a else 0.1/3 (new_i, new_j), r = transition((i,j), actual_a) total += prob * (r + 0.95 * V[new_i, new_j]) if total > best_value: best_value = total best_action = a policy[i,j] = best_action[0].upper() # 取首字母表示 print("\n最优策略：") print(policy)