基于多智能体强化学习的对抗学习策略优化：从非平稳性到课程学习收敛

基于多智能体强化学习的对抗学习策略优化：从非平稳性到课程学习收敛

1. 引言

对抗性多智能体强化学习（MARL）在许多现实场景中具有广泛应用，如游戏AI、机器人对抗、自动驾驶博弈等。然而，在多智能体环境中，每个智能体的策略更新都会改变环境的动态，导致环境对于单个智能体而言是非平稳的（non-stationary）。这一特性使得常规的单智能体强化学习算法（如DQN、PPO）直接扩展至多智能体场景时往往难以收敛，训练效果差、奖励波动大、策略震荡。

本文以一个典型的追逐-逃避（Predator-Prey）对抗任务为例，首先实现一个传统独立DQN（IDQN）训练框架，详细分析其训练效果差的根本原因；然后引入课程学习（Curriculum Learning），设计分阶段的对手策略课程，逐步提高任务难度，最终实现红方（追逐者）与蓝方（逃避者）策略的协同收敛。本文提供完整的可运行代码、实验数据、模型参数及复现文档，并给出后续调参与算法改进的指导方案。

全文包含详细的代码注释、训练曲线分析、超参数调优指南。

2. 问题定义：网格世界追逐逃避环境

2.1 环境描述

设计一个简单的对抗环境GridWorldTag，基于离散网格，大小为 5×5。包含两个智能体：

• 红方（Red，追逐者）：目标是尽可能快地与蓝方进入同一格。
• 蓝方（Blue，逃避者）：目标是避免被红方抓住。
</