基于多智能体强化学习的异构无人机集群自主防撞控制实践

1. 项目概述：当无人机群“堵车”时，我们如何用AI指挥交通？

想象一下，未来城市低空，送快递的、做巡检的、拍视频的、甚至载人的，各式各样、大小不一的无人机像蜂群一样穿梭。它们速度不同、性能各异、任务目标也千差万别，这就是我们所说的“异构无人机群”。当这个空中交通变得如此繁忙和复杂时，一个最核心、最致命的问题就浮出水面了：如何确保它们之间不发生碰撞？传统的空中交通管制依赖预设航路和集中式指挥，面对这种动态、密集、异构的“低空蜂群”，显然力不从心。这正是我们项目要啃的硬骨头——基于多智能体强化学习的异构小型无人机系统集群分离保障。

简单说，我们想做的不是给每架无人机预设一条死板的路线，而是给它们装上能“思考”和“协作”的“大脑”。让这些无人机自己学会在飞行中，实时感知邻居的状态，预测潜在的冲突，并做出安全、高效的避让决策，最终实现整个集群在复杂环境下的自主、安全飞行。这不仅仅是技术上的挑战，更是打开城市空中交通、大规模物流、协同作业等无数应用场景大门的钥匙。如果你对无人机自主控制、人工智能在 robotics 中的应用，或者分布式系统优化感兴趣，那么接下来的内容，将是一次从理论到实践的深度拆解。

2. 核心思路与方案选型：为什么是多智能体强化学习？

面对异构无人机群的防撞问题，业界和学界有过不少尝试。最直接的想法是规则法，比如设定“靠右飞行”、“爬升优先”等空中交规。但问题在于，规则是死的，环境是活的。当几十上百架无人机从四面八方涌来，规则很快就会陷入僵局或产生低效的绕飞。另一种思路是优化算法，比如将问题建模为混合整数线性规划，在线求解最优路径。这方法理论上很优美，但计算复杂度太高，对于需要毫秒级响应的实时避撞来说，往往是“算出来的时候，已经撞上了”。

所以，我们选择了多智能体强化学习这条路。它的核心魅力在于“学习”和“分布式”。我们不需要为所有可能的情况编写无数条“if-else”规则，而是让智能体（在这里就是每架无人机）通过与环境的不断交互试错，自己去学习一套高效的策略。更重要的是，MARL 天然适合我们这种分布式系统的设定：每架无人机都是一个独立的智能体，它们根据自身有限的局部观测（如邻居的位置、速度）做出决策，整个系统的安全与效率，则通过智能体之间的策略协作涌现出来。

注意：这里有一个关键认知需要转变。我们不是在训练一个“上帝视角”的中央大脑去指挥所有无人机，而是在训练一群具备局部感知和决策能力的“个体”，让它们通过策略互动，自发形成有序的全局行为。这更贴近生物界蜂群、鸟群的智慧，也是系统具备可扩展性和鲁棒性的基础。

具体到算法选型上，我们放弃了早期完全独立学习的Q-learning（智能体间完全无视彼此，容易导致环境非平稳，学习不稳定），也避开了需要全局信息的完全中心化训练方法（不满足分布式执行的要求）。最终，我们采用了“集中式训练，分布式执行”的范式，具体架构基于MADDPG的思想进行了深度定制。

为什么是CTDE？

1. 训练稳定性：在训练时，我们可以让每个智能体的策略网络访问全局信息（所有无人机的状态），甚至其他智能体的动作，这极大地缓解了环境非平稳问题，让学习过程更稳定、更快收敛。
2. 执行分布式：训练完成后，部署时每个智能体的策略网络只依赖自身的局部观测（如机载传感器数据）就能做出决策，完美契合无人机分布式、自主运行的需求。
3. 处理异构性：我们可以为不同类型的无人机（如高速物流机、低速巡检机）设计不同的策略网络结构或目标函数，但在训练时让它们在一个共同的环境里学习协作，从而学会理解并适应彼此的异质性。

我们的智能体设计，其策略网络输入不仅包含自身的状态（位置、速度、目标点），还包含其感知范围内邻居的状态信息。评价网络（Critic）在训练时则接收所有智能体的联合状态和联合动作，用于更准确地评估当前策略的优劣。奖励函数的设计是整个项目的灵魂，我们精心构造了一个包含安全、效率、舒适度的多目标奖励：

• 安全奖励（高权重）：与最近邻居的距离小于安全阈值时，给予极大的负奖励（惩罚）。这是保障分离的底线。
• 效率奖励：鼓励无人机朝向目标点飞行，速度维持在理想区间。
• 舒适度奖励（低权重）：惩罚过大的加速度和急转弯，让飞行轨迹更平滑，节省能源。

通过调整这些奖励的权重，我们可以在“安全第一”的前提下，在效率和能耗之间寻找最佳平衡点。

3. 仿真环境构建与智能体训练实战

理论再好，也得落地验证。在真机场飞几百架无人机做测试既不现实也不安全，因此，一个高保真、高效率的仿真环境是我们的“数字风洞”。

3.1 仿真环境搭建：选择与定制

我们放弃了游戏引擎（如Unity/Unreal，虽然渲染好看但物理仿真和定制化控制复杂），也没有选择过于底层的物理引擎从头造轮子。最终选定了PyBullet作为我们的物理仿真核心，并用Gymnasium来构建标准的强化学习环境接口。PyBullet 提供了足够精确的刚体动力学仿真，并且计算效率很高，能支持我们进行大规模并行训练。

环境的核心要素包括：

1. 无人机模型：我们为不同类型的无人机创建了不同的URDF模型，区分了大小、重量、最大推力、最大速度等参数。例如，快递无人机可能更“胖”，惯性大；巡检无人机可能更“灵巧”，转弯半径小。
2. 动力学模型：采用简化的四旋翼动力学模型，控制输入为四个电机的推力，输出为位置和姿态。这平衡了仿真速度和真实感。
3. 观测空间：每个智能体每步获得的观测是一个向量，包括：自身位置、速度、朝向、到目标点的向量，以及感知范围内（如半径50米）最近K个邻居的相对位置和相对速度。
4. 动作空间：设计为连续空间，包括三个维度：前进推力、偏航角速度、以及垂直速度。这样既能实现三维避障，又避免了直接控制电机推力的复杂性。
5. 场景：我们构建了多种训练场景，从简单的两机对头飞，到复杂的十字路口密集穿行，再到有静态障碍物（模拟高楼）的动态环境，逐步增加难度。

import gymnasium as gym import numpy as np import pybullet as p from gymnasium import spaces class HeterogeneousUAVEnv(gym.Env): def __init__(self, num_agents=5, agent_types=None): super().__init__() self.num_agents = num_agents # 定义异构类型，例如：0-高速型，1-载重型，2-敏捷型 self.agent_types = agent_types if agent_types else np.random.choice([0,1,2], num_agents) # 根据类型定义不同的动力学参数 self.max_speed = [8.0, 6.0, 10.0] # 不同类型最大速度不同 self.max_acc = [3.0, 2.0, 4.0] # 观测空间：自身状态 + 最近3个邻居的信息 self.observation_space = spaces.Box(low=-np.inf, high=np.inf, shape=(self._get_obs_dim(),)) # 动作空间：连续控制量 [前进推力比例, 偏航角速度, 垂直速度] self.action_space = spaces.Box(low=-1, high=1, shape=(3,)) self.physics_client = p.connect(p.DIRECT) # 非图形界面，更快 # ... 加载场景和无人机模型 ... def _get_obs(self, agent_id): """获取单个智能体的观测""" own_state = self._get_uav_state(agent_id) neighbor_states = self._get_neighbor_states(agent_id, k=3) # 拼接成观测向量 obs = np.concatenate([own_state, neighbor_states.flatten()]) return obs def step(self, actions): """执行一步，actions是所有智能体的动作列表""" for i, action in enumerate(actions): self._apply_action(i, action) p.stepSimulation() # 计算奖励，判断是否结束 rewards, dones, infos = self._calculate_step_result(actions) obs = [self._get_obs(i) for i in range(self.num_agents)] return obs, rewards, dones, infos

3.2 多智能体强化学习训练流程

训练是在这个定制环境上进行的。我们使用了基于MADDPG的框架，但针对连续动作空间和高维观测做了网络结构上的优化。

1. 网络结构：

   • 策略网络 (Actor)：一个多层感知机，输入是单个智能体的观测，输出是三维连续动作。我们为每种无人机类型使用了参数共享但独立初始化的网络，以学习类型特有的策略。
   • 评价网络 (Critic)：输入是所有智能体的观测和动作的拼接，输出一个Q值标量，评估当前联合状态-动作对的好坏。在训练时，这个全局视角至关重要。

2. 训练循环：

   • 初始化环境，所有无人机随机放置。
   • 每个智能体根据当前观测，通过策略网络（加上探索噪声）选择动作。
   • 所有动作同时执行，环境推进一步，得到新的观测和全局奖励。
   • 将这次交互的经验存入一个共享的经验回放缓冲区。
   • 定期从缓冲区采样一批数据，更新评价网络和策略网络。更新策略网络时，使用的是评价网络给出的梯度指导。
   • 使用软更新方式缓慢更新目标网络，稳定训练。

3. 课程学习：我们采用了课程学习策略。不是一开始就让所有无人机在复杂场景里乱飞，而是：

   • 阶段一：训练两架无人机在空旷环境中对飞、侧飞，学习最基本的避让逻辑。
   • 阶段二：增加无人机数量到5-10架，在简单交叉口场景训练。
   • 阶段三：引入异构性，混合高速和低速无人机。
   • 阶段四：加入静态障碍物，模拟城市峡谷环境。
   • 阶段五：进行大规模（如30架以上）密集集群飞行测试。

实操心得：奖励函数的“调参”是训练中最耗时也最需要经验的部分。初期，安全奖励的权重必须占绝对主导，哪怕无人机停滞不前，也要先保证不撞。等策略学会了保持安全距离后，再逐步提高效率奖励的权重，鼓励它向目标移动。此外，给“舒适度”一个很小的负奖励，能有效避免无人机做出高频抖动的“抽搐”动作，让轨迹更平滑，也更符合真实飞行器的物理限制。

4. 核心算法实现细节与策略剖析

理解了框架，我们深入到算法实现的关键细节。这些细节往往是论文里一笔带过，但实际实现中决定成败的地方。

4.1 异构性的具体处理方式

“异构”不仅仅体现在外观和参数上，更体现在策略和行为模式上。我们的处理方法是：

1. 参数化智能体：每个智能体在初始化时，会获得一个“类型编码”作为其观测的一部分。这样，策略网络在输入层就能识别“我是谁”。
2. 差异化的奖励函数：虽然全局奖励框架一致，但具体参数可以微调。例如，对于载重型无人机，在“舒适度”奖励中，对加速度的惩罚可以更大，因为其惯性大，剧烈机动能耗高且不安全。
3. 共享主干网络与特定输出层：所有同类型无人机的策略网络共享同一个神经网络主干（用于提取观测特征），但可以拥有独立的输出层微调头，以适应类型间的细微差异。这平衡了学习效率和个性化。

4.2 动作空间到实际控制的映射

策略网络输出的动作是一个归一化到[-1, 1]的向量。我们需要将其映射为真实的控制指令：

• action[0](前进推力比例)：映射到机体坐标系X轴的目标速度。例如，action[0]=1对应最大巡航速度，action[0]=-0.5对应以一半最大速度后退。
• action[1](偏航角速度)：直接作为目标偏航角速度发送给底层姿态控制器。
• action[2](垂直速度)：映射到目标高度变化率。

然后，底层控制器（在仿真中是一个PID控制器）会解算出发动机推力，去跟踪这些目标速度。这种“速度指令”层级的控制，比直接输出推力更稳定，也更容易迁移到真实无人机上。

4.3 邻居感知与注意力机制

在密集集群中，一个智能体周围可能有几十个邻居，但并非所有邻居都同等重要。直接拼接所有邻居信息会导致观测维度爆炸，且网络难以聚焦关键威胁。我们引入了注意力机制。

在策略网络的某一层，我们让智能体对自己的观测和每个邻居的观测计算一个“注意力分数”，这个分数代表了该邻居对当前决策的重要性（通常与距离、接近速度有关）。然后，用加权和的方式聚合邻居信息，而不是简单拼接。这样，网络能自动“关注”那个最具碰撞风险的邻居，决策更精准。

# 简化的注意力机制代码示意 def attention_aggregate(self, self_obs, neighbor_obs_list): # self_obs: 自身观测特征 # neighbor_obs_list: 邻居观测特征列表 query = self.W_q(self_obs) keys = [self.W_k(obs) for obs in neighbor_obs_list] values = [self.W_v(obs) for obs in neighbor_obs_list] attention_scores = [] for key in keys: score = torch.dot(query, key) / math.sqrt(self.dim_k) # 缩放点积注意力 attention_scores.append(score) attention_weights = F.softmax(torch.stack(attention_scores), dim=0) # 加权求和 aggregated_neighbor_info = sum(w * v for w, v in zip(attention_weights, values)) final_obs = torch.cat([self_obs, aggregated_neighbor_info]) return final_obs

4.4 分布式执行时的通信考量

在最终部署时，我们假设无人机之间通过低延迟的无线网络（如Wi-Fi 6或5G C-V2X）共享基本的状态信息（位置、速度、意图）。在我们的仿真中，这被简化为每个智能体可以无延迟地获取其感知范围内所有邻居的精确状态。但在现实世界中，需要评估通信延迟、丢包和带宽限制对策略性能的影响。一个鲁棒的策略应该对轻微的信息过时或噪声具有一定的容忍度，这可以通过在训练时向观测信息中添加噪声或延迟来提升。

5. 性能评估、对比实验与结果分析

训练完成后，我们不能只看损失曲线下降就宣布成功，必须有一套严谨的评估体系。

5.1 评估指标

我们定义了以下几个核心指标来量化系统性能：

1. 最小间隔距离：整个任务过程中，所有无人机两两之间距离的最小值。这是安全性的直接体现，必须始终大于我们设定的安全半径（如5米）。
2. 任务完成率：在规定时间内成功到达目标点的无人机比例。
3. 平均任务时间：所有成功无人机从起点到终点所用时间的平均值。
4. 平均能量消耗：用总的速度变化（加速度积分）或等效的推力变化来估算。
5. 冲突次数：两机距离小于安全半径的事件次数（仿真中应严格为0）。

5.2 对比实验设计

为了证明我们方法的优越性，我们设置了几个基线方法进行对比：

1. 人工势场法：一种经典的分布式避障方法，将目标点视为引力，将邻居和障碍物视为斥力。
2. 最优互避速度法：一种基于速度障碍概念的几何方法，为每架无人机计算一个不与其他任何无人机速度域相交的速度。
3. 集中式优化求解器：使用非线性优化在线求解一个时间窗口内的最优轨迹，作为性能上限参考（但计算耗时很长）。

5.3 实验结果与分析

我们在多种测试场景下运行了对比实验，下表汇总了在“20架异构无人机十字路口穿行”场景下的典型结果：

结果解读：

• 安全性：人工势场法在密集场景下容易陷入局部最小点（无人机互相“卡住”），导致碰撞。我们的MARL方法和ORCA、优化器一样，保证了安全间隔。
• 效率：MARL的任务完成率和平均时间接近集中式优化器这个理论上限，远超规则方法。这说明学习到的策略在安全和效率间取得了很好平衡。
• 实时性：MARL的决策时间（约15毫秒）完全满足实时控制需求（通常需要>10Hz，即<100毫秒/次），而集中式优化器无法做到。
• 异构适应性：MARL和优化器能自然处理不同类型无人机，而传统方法需要繁琐的参数调整。

可视化分析中，我们看到MARL无人机在交汇时，会表现出类似人类“默契”的行为：高速机倾向于小幅爬升或提前偏航，低速机则保持稳定或稍作让步，整个流线顺畅，没有明显的急停或振荡。

6. 从仿真到现实的挑战与部署思考

仿真成功只是第一步，走向真实世界面临着“仿真到现实”的鸿沟。

6.1 主要挑战

1. 动力学模型误差：仿真中的动力学模型再精确，也与真实无人机存在差异，包括电机响应延迟、电池电压衰减导致推力变化、风扰等。
2. 感知不确定性：仿真中我们假设位置速度信息完美已知。现实中依赖GPS（有误差、更新率低）、视觉/激光雷达（有噪声、可能丢失）进行状态估计，存在不确定性和延迟。
3. 通信限制：真实的无线通信存在延迟、丢包和带宽限制，可能破坏分布式决策的同步性和一致性。

6.2 应对策略与部署路径

1. 域随机化：在训练时，对仿真环境加入大量随机扰动。例如，随机化无人机的质量、推力系数、添加随机风场、在观测信息中加入高斯噪声、甚至模拟通信延迟和丢包。这样训练出的策略，对现实世界的不确定性具有更强的鲁棒性。
2. 分层控制架构：不直接用MARL输出底层电机指令，而是输出高层“航点”或“速度指令”。由无人机上稳定、可靠的底层飞控（如PX4, ArduPilot）去跟踪这些指令。MARL作为“战术层”，飞控作为“稳定层”，各司其职。
3. 在线自适应与微调：在真实系统部署初期，可以运行一个“影子模式”，即MARL做出决策但不执行，仅记录决策和真实结果。利用这些真实数据对策略进行在线微调，使其快速适应真实环境。
4. 安全冗余设计：必须设置一个独立于MARL的、基于简单规则（如DAA）的最后防线。当MARL决策出现异常或系统故障时，能立即接管，执行紧急避撞或悬停。

重要提示：首次真机测试务必在绝对空旷、无人的场地进行，且每架无人机都应有独立的遥控器接管开关和物理急停措施。从单机测试、双机对飞开始，逐步增加复杂度，整个过程必须有严格的安全操作规程。

7. 常见问题、故障排查与调优经验

在实际开发和训练中，我们踩过不少坑，这里总结一些典型问题和解决思路。

7.1 训练不收敛或策略表现差

7.2 仿真与实机差异巨大

• 问题：仿真中飞得很好，真机却抖动、画圈甚至失控。
• 排查：
  1. 检查控制频率：仿真步长（如0.05秒）和真机控制频率（如50Hz）是否匹配？指令发送间隔是否稳定？
  2. 检查底层接口：MARL输出的速度指令，真机飞控是否正确解析并执行？可能存在坐标系转换错误（NED vs ENU）。
  3. 传感器反馈延迟：真机状态估计（位置、速度）是否有显著延迟？在仿真中注入相应延迟测试策略鲁棒性。
• 解决：在仿真中尽可能模拟真机的控制环路和延迟。使用硬件在环仿真，将MARL策略部署到真实的机载计算机上，控制仿真模型，这是一个很好的过渡测试。

7.3 策略在特定场景下失效

• 问题：在训练过的场景表现好，但遇到一个全新的障碍物布局或机群运动模式就失效。
• 原因：策略过拟合了训练数据分布，泛化能力不足。
• 解决：
  1. 增强训练数据多样性：在课程学习中，随机化障碍物位置、大小、无人机起始点和目标点，甚至随机化部分无人机动力学参数。
  2. 使用正则化：在策略网络中加入Dropout或权重正则化，防止过拟合。
  3. 集成学习：训练多个策略，在运行时根据场景简单特征选择一个，或对它们的输出进行平均。

这个项目从构思到实现，是一个典型的“感知-决策-控制”闭环在复杂多智能体场景下的深度应用。它告诉我们，对于高度动态、充满不确定性的异构无人机集群，基于学习的、分布式的协同策略是一条充满希望但需精心打磨的道路。其中，仿真环境的构建、奖励函数的“玄学”设计、以及从虚拟到现实的谨慎跨越，每一个环节都充满了挑战和乐趣。