用Python代码和老虎机游戏，5分钟搞懂强化学习的‘探索与利用’核心矛盾
用Python代码和老虎机游戏，5分钟搞懂强化学习的‘探索与利用’核心矛盾
假设你走进一家赌场，面前有10台老虎机，每台的中奖概率不同。你既想快速找到最赚钱的那台，又担心过早锁定选择会错过隐藏的"幸运之王"。这正是强化学习中的经典困境——探索未知可能还是利用已知最优？今天我们用Python代码和老虎机游戏，带你亲手破解这个智能体学习的核心密码。
1. 老虎机：强化学习的微观实验室
拉斯维加斯的老虎机（Multi-armed Bandit）在AI领域有个更学术的名字：多臂赌博机问题。它完美模拟了智能体在未知环境中做决策的场景：
- 每个拉杆（arm）代表一个可选动作
- 每次拉动获得随机奖励（reward）
- 目标是通过有限尝试最大化总收益
import numpy as np class Bandit: def __init__(self, arms=10): self.true_means = np.random.normal(0, 1, arms) # 各臂真实收益均值 self.best_arm = np.argmax(self.true_means) # 最优臂编号 def pull(self, arm): return np.random.normal(self.true_means[arm], 1) # 带噪声的奖励这个简单的类模拟了老虎机的核心机制。true_means决定了每台机器的"良心程度"，而每次拉杆获得的奖励会有正态分布的波动。就像真实赌场，你永远无法直接看到机器内部的概率设置。
2. Epsilon-Greedy：简单却有效的平衡术
面对未知的老虎机阵列，人类通常会采用这样的策略：
- 先随机试几台机器（探索阶段）
- 记录各机器的平均收益
- 逐渐偏向表现最好的机器（利用阶段）
- 偶尔再试试其他机器（持续探索）
这正是ε-greedy算法的核心思想。让我们用代码实现这个策略：
class EpsilonGreedyAgent: def __init__(self, epsilon=0.1, arms=10): self.epsilon = epsilon # 探索概率 self.arms = arms # 可选动作数 self.Q = np.zeros(arms) # 各臂价值估计 self.N = np.zeros(arms) # 各臂尝试次数 def choose_action(self): if np.random.random() < self.epsilon: return np.random.randint(self.arms) # 随机探索 return np.argmax(self.Q) # 选择当前最优 def update(self, arm, reward): self.N[arm] += 1 self.Q[arm] += (reward - self.Q[arm]) / self.N[arm] # 增量式更新均值关键参数epsilon控制着探索与利用的平衡：
| ε值 | 行为模式 | 适用场景 |
|---|---|---|
| 0.0 | 纯利用 | 环境完全稳定时 |
| 0.1 | 适度探索 | 大多数推荐系统 |
| 0.5 | 强探索 | 快速变化的动态环境 |
| 1.0 | 纯探索 | 完全未知的初期阶段 |
3. 实战演练：可视化学习过程
让我们运行1000次实验，观察不同ε值下的表现差异：
def simulate(epsilon, steps=1000): bandit = Bandit() agent = EpsilonGreedyAgent(epsilon) rewards = [] optimal_rates = [] for _ in range(steps): arm = agent.choose_action() reward = bandit.pull(arm) agent.update(arm, reward) rewards.append(reward) optimal_rates.append(arm == bandit.best_arm) return np.array(rewards), np.array(optimal_rates)使用Matplotlib绘制结果曲线：
import matplotlib.pyplot as plt plt.figure(figsize=(12, 5)) # 测试三种ε值 for eps in [0.01, 0.1, 0.5]: rewards, optimal = simulate(eps) plt.plot(rewards.cumsum() / np.arange(1, 1001), label=f"ε={eps}") plt.xlabel("尝试次数") plt.ylabel("平均累积奖励") plt.legend() plt.show()你会明显看到：
- ε=0.01：收敛慢但后期稳定
- ε=0.1：平衡性最佳
- ε=0.5：波动大但发现最优臂更快
4. 进阶技巧：动态调整探索率
固定ε值并非最优方案。更聪明的做法是随着经验积累动态降低探索率：
class DecayingEpsilonGreedy(EpsilonGreedyAgent): def __init__(self, start_eps=1.0, min_eps=0.01, decay=0.999): super().__init__(start_eps) self.start_eps = start_eps self.min_eps = min_eps self.decay = decay self.steps = 0 def choose_action(self): self.epsilon = max(self.min_eps, self.start_eps * (self.decay ** self.steps)) self.steps += 1 return super().choose_action()这种衰减策略模拟了人类学习过程：
- 初期广泛尝试（高ε）
- 中期聚焦有潜力的选项
- 后期微调最优选择（低ε）
提示：衰减系数需要根据问题规模调整。对于1000步的实验，0.999是不错的选择；更长的训练则需要更缓慢的衰减。
5. 现实世界的应用变体
虽然我们以老虎机为例，但ε-greedy的思想广泛应用于：
- 推荐系统：90%推荐已知用户喜欢的商品，10%尝试新品类
- 广告投放：主要投放CTR高的广告，偶尔测试新广告位效果
- 游戏AI：平衡已知最优策略与尝试新战术的可能性
- 自动化交易：在已验证策略与实验性策略间取得平衡
实际工业级实现还会考虑：
# 添加乐观初始值鼓励早期探索 self.Q = np.ones(arms) * 5.0 # 添加UCB上限置信区间 confidence = np.sqrt(2 * np.log(self.steps + 1) / (self.N + 1e-5)) return np.argmax(self.Q + confidence)这些变体都在解决同一个本质问题：如何在有限尝试中获得最大累积收益。下次当你在Netflix看到既熟悉又新鲜的推荐组合时，或许就能会心一笑——那背后正是ε-greedy在默默工作。