不断演化的城市环境中无人机的动态空域管理：协同合作与人类安全

大家读完觉得有帮助记得关注和点赞！！！

摘要
低空经济是一个具有巨大发展潜力的新兴产业，其中无人驾驶飞行器（UAV）运行的安全性是一个关键挑战。特别是在复杂的城市地形和有人环境中，无人机空域管理必须优先考虑碰撞避免和人类安全。我们提出了Pharos，一个协同式多无人机空域管理系统。Pharos介于分布式局部感知范式和集中式细粒度控制范式之间。Pharos协调多架无人机在共享空域中的安全并行执行，同时创新性地考虑了人类恐惧的影响。Pharos使用MAPPO算法实现，因为相比其他典型的MARL算法（HAPPO和HATRPO），它具有更快的收敛速度和更高的奖励。为了评估Pharos，我们使用真实的城市数据开发了一个3D仿真系统。可视化结果展示了其有效的空域协调能力。在性能验证方面，与基准算法Ipopt相比，Pharos将人类恐惧降低了52.72%。此外，我们设计了空间熵作为系统评估指标来量化空间利用率，与基准算法Ipopt和A-star相比，性能分别提升了70.82%和2.03%。源代码可在匿名化代码仓库获取：GitHub - pharos-anonymized/source-code · GitHub。

关键词：空域管理，无人机协同协调，专属空间，人类安全，空间熵

1. 引言

在无人驾驶飞行器（UAV）快速演进的推动下，低空经济近年来已成为一个高度活跃的领域（Zhou, 2025）。如今，各种无人机平台正越来越多地融入日常运营，从用于长途物流的重型无人机到用于基础设施检查和城市最后一公里配送的轻型无人机。然而，当多架无人机在共享的低空空域内并行运行时，它们各自的私有飞行任务极有可能发生冲突。当无人机飞行区域与人口稠密的城市区域重叠时，无人机碰撞的风险及其对人类安全构成的威胁将显著增加（Pereira et al., 2022）。因此，建立一个无人机空域管理系统以确保低空安全是一个紧迫的问题。这涉及应对两个主要挑战：探索有效的多无人机协同协调解决方案（Chen et al., 2025）以及解决与低空飞行相关的人类恐惧问题（Van Waveren et al., 2023）。

图1： 三种空域管理范式：(a) 分布式局部感知范式可能导致A、B在盲点处碰撞。(b) 集中式细粒度控制范式通过时间线①②的顺序指令确保A和B的安全。(c) Pharos通过粗粒度的全局管理协调A和B的专属空间，以实现安全的并行通过。

首先，人类安全因素目前主要在涉及二维空间的应用中得到考虑，例如自动驾驶（Zhao et al., 2024）和工业机器人（Merckaert et al., 2024）。与自动驾驶汽车相对可预测的道路或工业机器人封闭且受控的环境不同，无人机在开放的三维环境中运行。在这些无人机与人类共存的动态、综合环境中，解决无人机空域管理中的人类安全问题已变得日益复杂。迫切需要探索解决方案以填补该研究领域的空白。

其次，目前有两种主要的无人机协同协调范式。一种是分布式局部感知范式，如传统的具身智能系统（EAI）中常见的那样（Hu et al., 2024）。这涉及为无人机配备本地传感器，使其能够根据自身视野内的信息运行。虽然这对个体自主性有效，但对机载传感器的依赖带来了显著的载荷和成本开销，这可能限制轻型无人机可扩展部署。此外，机载传感器提供的局部视野本质上限制了全局态势感知能力，可能在存在障碍物的情况下使无人机暴露于盲点碰撞风险中。例如，高层建筑可能阻碍无人机A和B在关键交叉口的相互探测，如图1(a)所示。另一种范式是集中式细粒度控制范式，如传统的空中交通管制（ATC）技术（Huang et al., 2024）。如图1(b)所示，ATC中心集成雷达数据和无人机遥测数据以维持全局态势感知，并通过细粒度轨迹规划算法（Meng et al., 2024; Basil et al., 2025; Fu et al., 2024）直接向无人机发出飞行命令。虽然这种范式增强了无人机协同的安全性，但它面临实施挑战。这些挑战包括需要无人机制造商提供标准化控制接口，以及集中控制中心可能出现的性能瓶颈。

因此，需要一种解决方案来桥接上述两种范式，通过协调多架无人机的安全并行执行。为此，我们提出了Pharos，一种新颖的协同式多无人机空域管理范式。如图1(c)所示，Pharos实现这种协调不是通过直接规划详细轨迹，而是通过为每架无人机协调专属空间，允许它们在该安全空间内自主运行。通过这样做，Pharos有效地克服了分布式局部感知范式的局限性。它减少了因局部视野不完整而产生的碰撞风险，以及因先进机载传感器（特别是资源密集型的感知载荷，如LiDAR和深度相机）引起的载荷和成本约束。与集中式细粒度控制范式相比，Pharos采用粗粒度的空域协调方案来缓解通常由细粒度轨迹规划导致的性能瓶颈。此外，通过避免直接的运动控制，Pharos不会干扰无人机底层的控制系统。它依靠用于数据交换的通信接口提供协同引导。这消除了要求无人机制造商开放其专有控制权限的挑战。Pharos的范式在地面交通管理中也有体现，不同品牌和不同驾驶经验的车辆可以在交通信号的宏观协调下独立控制其车辆。

为实现这种协同范式，我们设计并实现了一个同名系统Pharos。该系统通过融合轻量级无人机遥测数据与动态行人状态来建立全局态势感知，其中后者在现实部署中可以从概念上通过众包物联网网络获取。在此基础上，Pharos采用多智能体强化学习（MARL）进行协同空域协调。在训练阶段，Pharos使用人工势场法（APF）编码无人机观测特征以捕捉动态城市环境。为了实现以安全为优先的全局优化，我们制定了一个全面的奖励机制，优先考虑碰撞避免和人类安全，同时将飞行进展作为辅助激励。具体来说，我们创新性地引入了一个人类恐惧因子来量化低空飞行的心理影响，综合考虑了物理距离、速度和方向向量。碰撞惩罚严格考虑了无人机间碰撞和静态城市障碍物。在推理阶段，训练好的模型支持无人机间的并行执行：在每个时间步，多架无人机并行执行推理以确定它们非重叠的专属空间。最后，我们在仿真中引入空间熵，以有效评估它们在受限空域内的空间利用效率。

本文的主要贡献如下：

(1) 我们提出了Pharos，一种用于多无人机协同的空域管理解决方案，它桥接了集中式控制和分布式局部感知，从而减少了潜在的无人机碰撞和人类安全问题。

(2) 我们引入了一个可量化的人类恐惧因子来模拟低空无人机运行的心理影响，并将其整合到MAPPO算法的奖励机制中，以执行无人机专属空间的并行推理。

(3) 我们使用真实的城市数据实现了同名的Pharos仿真系统。全面的实验验证了其在低空空域协调中的准确性、有效性和性能。

2. 相关工作

2.1. 无人机空域协调

对于当前无人机空域协调的研究，我们总结了三种核心方法：(1) 集中式规划与优化方法主要包括两类：多智能体路径规划（MAPF）和数值优化（NO）。MAPF侧重于单目标问题（如最短路径），在处理多目标复杂权重和软约束方面存在困难。当目标被加权时，状态空间和碰撞解决变得高度复杂，降低了算法效率。NO使用数学函数对约束和飞行目标进行建模——如最优路径（Phung and Ha, 2021）、最小能耗（Yao et al., 2025）和经济负荷分配（Akbari et al., 2022）——将其转化为可解决的优化问题。为实现这些优化，常使用基于几何的方法，采用坐标变换（例如，几何距离（Zhan et al., 2022）、SE(3)（Seo et al., 2023）和图拓扑（Musil et al., 2022））来描述无人机运动约束。然而，这些集中式方法通常计算复杂度高，且在动态环境中的避障效果有限。

(2) 分布式反应控制方法以人工势场法（APF）为代表。这些方法通过为目标点创建虚拟引力场和为障碍物创建虚拟斥力场来实现避障（Pan et al., 2021）。与集中式方法相比，APF计算速度更快，更适合动态环境。然而，它本质上是一种短视的优化方法，依赖于瞬时梯度下降，容易使无人机陷入局部极小值（引力和斥力平衡），阻碍其向目的地前进。为缓解此问题，研究人员提出了各种改进，例如Li等人（2022a）集成光传输模型，以及Zhang等人（2024）引入共线力偏转角。

(3) 协同优化方法以多智能体强化学习（MARL）为代表。与APF依赖瞬时梯度不同，MARL通过学习长期累积奖励的梯度来协同优化策略，有效处理全局优化问题并避免局部极小值。近年来，基于MARL的方法（Yu et al., 2022）在协同无人机决策（Li et al., 2022b）方面取得了显著进展，通过结合探索和利用策略有效地避免了APF中的局部极小值问题。

2.2. 人机共存安全

随着人类与机器在各种环境中共存的加深，确保人类安全的同时使智能机器高效工作成为一个关键问题。人机交互中人类安全的概念最早在阿西莫夫的机器人三定律和ISO 10218-1四项原则（ISO, 2012）中被提出。在工业机器人（Pereira et al., 2022）和自动驾驶（Liao et al., 2024）等领域，人机交互的物理范围通常限于相对较小、封闭且多为二维的空间。然而，在三维空间中运行的无人机对人类安全的影响仍然是一个重大挑战。尽管Van Waveren等人（2023）开发了一种控制屏障函数（CBF）来增强单无人机与单人类交互中的人类感知安全，但在多无人机和多人类的复杂动态环境中优先考虑人类安全仍有待充分解决。

3. 系统模型与问题描述

第3.1节将介绍系统空间模型，包括城市环境模型和无人机专属空间模型。第3.2节将形式化优化目标的问题。

3.1. 空间模型

在城市场景中，为多架无人机协调专属、安全和可用空间时，创建空间模型有两种不同的技术方法。第一种方法将空间视为连续资源，允许根据无人机的飞行需求进行最优协调。这种方法最小化了协调空间，但空间协调和冲突检测的计算复杂度很高。相比之下，第二种方法将空间划分为大量独立的、细粒度的离散单元，每个无人机接收一个由这些单元的整数倍定义的专属长方体切片。虽然这种方法可能导致一些空间浪费，但与连续模型相比，它显著降低了计算需求。因此，Pharos采用离散空间模型进行无人机空域管理。

图2： 复杂城市空间模型中多无人机管理的示意图。

我们使用图2所示的空间坐标系 S(x,y,z) 来表示3D空域，该空域包括移动的人类和静止的建筑作为障碍物。一组人类 H={h} 在 xOy 平面上移动，每个人类 h 具有速度 a_h 和重心在 p_h(x, y, \bar{h})，其中 \bar{h} 是恒定高度。静止的建筑由 B={b} 表示。遵循Hu等人（Hu et al., 2025）的设计，每个建筑被建模为一个长方体 c_b({Γ_b^-, Γ_b^+}), Γ ∈ {x,y,z}，基于其在x、y、z轴上的最小和最大投影。这种建模方法可以推广到其他类型的静止障碍物，如雕塑或路灯。

有一组无人机 U={u} 在空域中运行。为确保安全运行，每架无人机被协调一个专属空间，由一个长方体 c_u({Γ_u^-, Γ_u^+}), Γ ∈ {x,y,z} 表示（如图2中的虚线框所示）。该长方体允许无人机自定义其飞行路径，而不会与其他无人机或障碍物碰撞，确保其专属空间不与其他空间重叠。对于具有目标点 p_u~ 和当前速度 v_u 的无人机 u，其当前重心点为 p_u(x,y,z)。无人机 u 被视作一个体积对象，而不仅仅是一个质点，其体积由一个边长 μ 的立方体建模，该立方体必须完全包含在专属空间内。无人机 u 到人类 h 的距离表示为 d(u,h)，计算为它们重心之间的欧几里得距离。无人机 u 到建筑 b 的距离为 d(u,b)，定义为从无人机重心 p_u 到 c_b 表面的最短欧几里得距离。当前空间 S 被视为全局态势感知区域 c_S。数据中心Pharos使用静止建筑数据和无人机及其他移动智能终端报告的态势数据来执行上述空间建模（如图2所示）和无人机空域管理。

3.2. 问题描述

无人机碰撞避免和人类安全是首要任务。此外，为确保全面的空域管理解决方案，我们还将飞行进展纳入优化目标。因此，Pharos空域管理问题的优化目标分为三个方面：由碰撞惩罚量化的碰撞避免，以避免无人机间及无人机与障碍物之间的碰撞；人类恐惧惩罚，以减轻无人机可能对人类造成的恐惧；飞行进展，以促使无人机尽快到达目的地而非悬停。Pharos旨在为多无人机专属空间协调找到最优策略。

3.2.1. 碰撞惩罚
无人机 u 的潜在碰撞对象包括 U 中的其他无人机、人类 H 和建筑 B，如公式1所示。

其中，

惩罚分为两部分。I_{u,u'} 表示 c_u 与另一无人机 c_{u'} 的专属空间之间的交点数。在公式4中，P_u^s 中的系数1/2消除了对所有无人机对交集体积的重复计数。u 与移动人类 H 和静止建筑 B 之间的碰撞被归类为与障碍物的碰撞。我们定义 A_{u,k} 来指示当无人机 u 的重心 p_u 到障碍物 k 的距离小于其体积立方体边长 μ 的一半时发生碰撞，这符合直观预期。u 与 h 之间以及 u 与 b 之间的具体距离计算遵循第3.1节中的系统模型定义。

图3： 人类恐惧模型，突出显示了无人机对人类影响的四个具体案例①至④，投影在 xOz 平面上。值得注意的是，Pharos使用3D向量而非2D视角。

3.2.2. 人类恐惧惩罚
我们提出了人类恐惧因子来量化无人机 u 对人类 h 的恐惧影响，惩罚值 P_u^f 按公式2计算。这种影响仅在距离 d(u,h) 在图3的 \bar{r} 范围内时发生。角度 θ_{u,h} 表示无人机速度向量 v_u 与人类速度向量 a_h 之间的夹角，而 φ_{u,h} 是 v_u 与从无人机指向人的向量之间的夹角。当无人机在情况①中接近人类时，恐惧增加；在情况③中远离时减少。此外，在情况②和④中，随着无人机与人类距离的增加，恐惧减弱。

3.2.3. 飞行进展
无人机 u 的飞行进展由两部分组成：到达目的地 p_u~ 时的即时奖励 R_u^l（见公式3a），在重心 p_u 到 p_u~ 的距离低于阈值 δ 时触发。第二部分是进展奖励 R_u^g（见公式3b），其中 p_u' 表示 u 在前一时间戳的重心坐标。飞行进展旨在鼓励无人机向前飞行，并防止其为了避免碰撞而悬停。

因此，无人机空域管理问题的最终优化目标由公式4中的 ℛ 表示。这里，β_s、β_f、α_l 和 α_g 分别是碰撞惩罚、人类恐惧惩罚、即时飞行奖励和进展飞行奖励的权重参数。我们的目标是最大化 ℛ，以协调无人机的专属空间，实现动态空域管理。

4. 所提出的方法

鉴于本研究主要关注算法层面的协同决策与优化，我们假设基于具有一致目标并满足准入条件的协同组框架的Pharos系统，能够在每个时间步可靠地收集态势感知数据并分发专属空间协调结果。以下第4.1节将算法模型形式化为Dec-POMDP，第4.2节介绍所采用的MAPPO算法。

4.1. 空域管理决策模型

多无人机空域管理问题本质上是一个协同多智能体系统（MAS）问题，其中多架无人机必须在部分可观测且动态变化的环境中做出协同决策以实现全局目标。因此，我们采用分散式部分可观测马尔可夫决策过程（Dec-POMDP）作为Pharos的形式化算法框架。该模型准确捕捉了无人机基于自身观测并行决策的特点，而全局状态和共享奖励函数的设计则符合Pharos中心的宏观协作目标。这从算法框架的角度体现了集中式协作和并行执行的核心概念。

我们从标准Dec-POMDP模型中提取了与Pharos空域管理问题直接相关的关键组件，并将其表示为五元组 <ℐ, 𝒪, 𝒜, 𝒮, ℛ>。一个完整的Dec-POMDP还应包括状态转移函数、观测函数和折扣因子等标准组件。在本研究中，状态转移和观测函数由仿真环境的动态隐式定义。折扣因子 γ 是一个关键的超参数，其设置将在第4.2节中解释并在表1中总结。我们将整个空域管理周期表示为 𝒯={t}。Pharos能够在每个时间步 t 处理城市环境的动态变化，并为无人机协调适当的专属空间，从而确保可靠的空域管理。在时间步 t 对应的 <ℐ, 𝒪, 𝒜, 𝒮, ℛ> 组件详细阐述如下：

图4： Pharos基于MAPPO的核心算法。

智能体： ℐ = {i} 表示一个确定的无人机智能体集合。

观测： 𝒪_t = {o_i} 是时间步 t 时智能体的观测集合，每个 o_i 形式化为：

其中 o_i 是一个大小为24的一维向量，包含四种类型的特征：

(1) 自身特征： id_i 是智能体 i 的整数身份编号，N(p_i) = p_i / (p_max - p_min) 是智能体 i 重心位置相对于坐标系 S 的归一化向量（大小为3），其中 p_max 和 p_min 分别是 S 的上下界。N(p_i~ - p_i) = (p_i~ - p_i) / (p_max - p_min) 和 m(p_i, p_i~) 分别是 p_i 与其目的地 p_i~ 之间的归一化单位向量（大小为3）和曼哈顿距离值。

(2) 部分无人机斥力特征： 我们自定义了排序函数来计算 U 中最接近 i 的 κ 架无人机，用于计算部分无人机斥力特征。基于物理学中斥力的定义，得到无人机 i 和无人机 j 之间的计算，i 的部分斥力特征 ρ_i 表示如下：

(3) 邻居无人机速度特征： i 的邻居速度特征为 σ_i^E = {σ_i^e}，σ_i^e 在公式6中形式化。为解释邻居无人机的含义，六个观测方向定义为 E = {e} = {(0,0,e), (0,0,-e), (0,e,0), (0,-e,0), (e,0,0), (-e,0,0)}。则 i 在 e 方向的邻居是最近的无人机 j，即 p_j = p_i + λ e（取 λ 为使该表达式成立的第一个正整数）。

给定方向 e 上的邻居 j，σ_i^e 计算智能体 j 和 i 沿 e 的相对速度特征。该特征与它们之间的距离系数 λ 成反比。几何上，正的相对速度特征表示邻居 j 正在靠近飞行，从而增加 σ_i^e；而负特征表示 j 正在飞离，导致 σ_i^e 减小。

(4) 人类恐惧预测特征： 通过上述六个观测方向，无人机的操作也可以在当前悬停。因此，人类恐惧特征的预测包括七个值，使用公式2连接如下：

其中 P_i^f 表示当 i 悬停时对人类产生的恐惧，P_{i~e}^f 表示如果 i 向 e 方向移动一步时对人类产生的恐惧。

动作： 𝒜_t = {a_i} 表示智能体集合在时间步 t 有一个确定的动作集合。动作集合的几何意义是专属空间的方向和范围选择。因此，在离散的3D空间中，需要考虑六个方向 E（与邻居无人机相同），以及一个额外的无人机悬停动作，即 E = E ∪ {(0,0,0)}。则 a_i 表示如下：

每个智能体根据观测信息 a_i，在 a_i^e = 1 的方向 e 上被协调专属空间 c_i，c_i 的计算形式化如下：

其中，

在公式8中，p_i' 是由动作 a_i 和当前位置 p_i 计算出的无人机 i 的下一个位置坐标。专属空间 c_i（如图4）是通过用坐标 p_i 和 p_i' 形成一个长方体，并将边界向外延伸 e/2 长度而获得的。无人机在 c_i 内的运行可以避免潜在碰撞并消除人类恐惧。

状态： 时间步 t 的环境状态是一个一维向量（大小为 6+24*|ℐ|），表示为：

其中 p_min 和 p_max 是坐标系信息，{o_i} 是智能体的观测信息。

奖励： 奖励函数提供对智能体动作质量的反馈，有助于在新行为探索和已知有效行为利用之间取得平衡。我们将公式4中所有智能体共享的奖励函数 ℛ_t 定义为指导无人机优化专属空间协调。

在Dec-POMDP框架内，多无人机空域管理问题被认为是一个NEXP-完全问题（Bernstein et al., 2002），这在理论上具有挑战性。然而，由于当前问题的有限时域（Oliehoek et al., 2016），至少存在一个最优联合策略满足以下条件：无人机的有限时间步集合 𝒯、观测集合 𝒪_t、动作集合 𝒜_t 和状态集合 𝒮_t；由碰撞惩罚、人类恐惧惩罚和飞行奖励组成的有界奖励函数 ℛ_t；系统的状态转移遵循马尔可夫性质。因此，我们的目标不是找到精确的最优解，而是让多架无人机协作，逼近全局最优、安全且高效的空域协调策略。

算法1：Pharos：基于MAPPO的多无人机动态空域管理算法
0: 无人机 U，人类 H，建筑 B，3D空间 S
0: 多无人机专属空间结果集 {c_i | i ∈ U}
1: 初始化评论家 V_ω，演员 {π_{ϑ_i} | i ∈ ℐ}
2: while ep ≤ episode do
3: 初始化环境 t=0, 𝒮=𝒮₀, 𝒟=[]
4: while t <= 𝒯 do
5: 从环境获取观测集合 𝒪_t = {o_i}
6: 执行每个演员：𝒜_t {a_i} ← 𝒪_t {o_i}
7: 执行公式8：{c_i} ← 𝒜_t {a_i}
8: 执行 𝒜_t 以推进环境：𝒮_{t+1}, ℛ_t ← 𝒮_t
9: 将 (𝒮_t, 𝒜_t, ℛ_t, 𝒮_{t+1}) 存储到回放缓冲区 𝒟
10: end while
11: 通过损失函数 loss_ω = 1/𝒯 ∑{t∈𝒯} (G_t - V_ω(𝒮_t))² 梯度更新评论家网络 V_ω
12: 通过 loss{ϑ_i} = 1/𝒯 ∑{t∈𝒯} (G_t - V_ω(𝒮_t)) · min[ prob(a_i), clip(prob(a_i), 1-ς, 1+ς) ] 梯度更新每个演员 π{ϑ_i}，其中 prob(a_i) = π_{ϑ_i}(a_i) / π_{ϑ_i}^{ep-1}(a_i)
13: end while

4.2. 无人机空域管理算法

在多无人机空域管理的Dec-POMDP建模中，我们采用多智能体近端策略优化（MAPPO）算法（Yu et al., 2022）来获取近似解。MAPPO采用集中式训练与分散式执行的范式。在训练阶段，使用全局信息来优化多架无人机的联合策略。在执行阶段，每架无人机基于其局部观测独立做出决策，随后规划详细路径。这种范式与Pharos系统的架构完美契合，在集中式控制和分布式局部感知范式之间取得了平衡，在算法层面确保了高效的协作和可扩展性。此外，为了验证我们算法选择的合理性，我们与HAPPO和HATRPO等典型多智能体强化学习算法进行了对比实验。相关结果和分析详见第5.3节。

图5： (a) Pharos可视化系统概述。(b)(c) 系统能力测试用例的快照。完整动态效果见匿名化视频：https://github.com/pharos-anonymized/source-code/blob/master/visualization.md。

如图4所示，构建在MAPPO算法之上的Pharos系统包含两个核心组件：一组演员网络 {π_{ϑ_i}}，每个对应一架无人机；以及一个全局共享的评论家网络 V_ω，用于评估演员策略的性能。演员和评论家网络均实现为多层感知器（MLP）。每个演员以其关联无人机的局部观测 o_i 作为输入，并输出用于选择专属空间的可能方向的概率分布。为了符合决策模型中定义的离散动作集合 𝒜_t，具有最高概率的动作 a_i 被赋值为1，其他所有动作设为0。评论家接收全局状态 𝒮_t 作为输入，并产生一个值估计 V_ω，用于评估当前联合策略的质量，并指导所有演员网络的基于梯度的更新。

基于MAPPO的Pharos算法通过策略梯度方法优化每个无人机演员网络 π_{ϑ_i} 的策略。此优化旨在最大化长期累积回报 G_t，其中 G_t 定义为当前时间戳奖励 ℛ_t 与下一时间戳折扣累积回报 G_{t+1} 之和。该算法通过计算期望策略梯度 ∇_{ϑ_i} J(ϑ_i) 来更新策略参数，这表示长期回报 G_t 随策略参数 ϑ_i 变化的方向。我们采用的MAPPO算法（Yu et al., 2022）的形式化计算如下：

∇{ϑ_i} J(ϑ_i) = 𝔼{π_{ϑ_i}} [ ∇{ϑ_i} G_t ], G_t = ℛ_t + γ · G{t+1}

随着梯度逐渐收敛，Pharos系统最终在协作多无人机博弈中接近一个团队最优解。也就是说，所有无人机演员的策略达到局部最优状态，任何单个无人机单方面改变策略都无法增加全局奖励 ℛ_t。Pharos的完整算法流程总结在算法1中，该算法能够在具有静止建筑和移动人类的复杂城市环境中为多架无人机协调专属空间，同时确保人类和无人机的安全。

5. 仿真

我们在复杂城市环境中为Pharos开发了一个多无人机仿真可视化系统，如图5(a)概述所示，匿名化源代码可在 https://github.com/pharos-anonymized/source-code/tree/master/pharos-visual-3d 获取。详细的实验和分析如下。

5.1. 仿真设置

对于仿真数据集，我们从OpenMap（OSM）（OpenStreetMap contributors, 2012）获取了中国上海一个155m × 135m矩形区域（代表一个典型的复杂交叉口）的静止建筑数据，并基于Hu等人（Hu et al., 2025）的设计对建筑进行建模，以构建Pharos空间地图。Pharos还随机生成具有不同速度和轨迹的移动人类，以模拟现实世界的动态交互。在推理过程中，静态布局保持不变，而所有动态配置（包括无人机目标位置和人类移动）都是随机的。对于无人机飞行仿真，我们没有预设任何特定的计划飞行路线。我们仅要求无人机能够在下一个时间步到达“下一个专属空间”。这种最小约束设计允许用户在实际无人机运行中保留完全的路线自定义自由。

实现的相关超参数详见表1。其中，基于安全优先，奖励权重为：碰撞避免的首要惩罚，加上对人类心理影响的累积惩罚，以及飞行进展的组合激励（包括即时奖励和进展奖励）。这确保了飞行进展仅作为辅助目标，受安全约束。根据统计数据，各种类型的无人机最大平飞速度为100 km/h（Council, 2023），最小端到端控制延迟为50 ms（CAAC, 2018），这意味着无人机在每个通信时间步内最多可移动1.4米。因此，我们将离散空间模型的粒度设定为米级。所有仿真实验在一台配备AMD EPYC 9554 CPU（128核）、251GB RAM和NVIDIA RTX A6000 GPU（48GB VRAM）的服务器上运行。

表1： 仿真中的超参数设置。

图6： 在不同数量的无人机(U)、人类(H)和建筑(B)下，与其它典型MARL算法的训练收敛性比较。

5.2. 实验基线

实验基线算法的描述及选择原因如下：

Ipopt： 求解器Ipopt（内点优化器）由Stefan（Stefan, 2024, 2025）提出，是一个基于内点法的开源数学优化工具包，广泛用于解决约束优化问题。它为Pharos的全局优化目标 ℛ 提供了一个连续解，作为Pharos离散模型的精度基准。

HAPPO和HATRPO： HAPPO（异构智能体近端策略优化）和HATRPO（异构智能体近端策略优化）都是Kuba等人（2022）在同一篇论文中提出的多智能体策略优化算法。我们采用了与MAPPO算法相同的超参数配置（见表1），以比较不同MARL算法在多无人机空域管理问题上的性能。

A-star： A-star是路径规划领域的经典基准，Farid等人（2022）已将其应用于无人机路径规划。虽然Pharos主要解决多无人机空域协同管理问题，但它也可以通过协调专属空间来引导飞行。我们将以A-star生成的最优路径作为比较基准，并在相同安全约束下，验证Pharos在复杂环境中能达到与传统方法相似的规划效率。

5.3. 仿真结果与分析

在本小节中，我们进行了详细的实验来验证和分析系统的准确性、有效性和性能。

图7： Pharos与Ipopt求解器在200步（100毫秒/步）内的推理性能比较。

5.3.1. 全局优化性能
为验证Pharos对全局优化目标 ℛ 的求解精度和收敛性能，我们将其与两类基线方法进行了比较：一类基于数学优化求解器Ipopt，另一类使用先进MARL算法HAPPO和HATRPO。

首先，我们对相同优化目标 ℛ 比较了Pharos和Ipopt。在推理阶段，Pharos在一个有10栋建筑、10个人类和10架无人机的环境中使用预训练模型。如图7所示，两种方法随时间变化的奖励值曲线表明，尽管在推理初期存在一些波动，但Pharos保持稳定，并且在大部分时间里显著优于Ipopt，尤其是在推理的后半段，平均奖励值高出60.59%。这是因为虽然Ipopt在单个时间步上达到了精确的数学最优，但它缺乏长期规划能力。

此外，我们将Pharos与HAPPO和HATRPO算法进行了比较，以测试训练阶段的模型收敛性。这三种算法使用相同的奖励函数和表1所列的超参数，并在三种场景下进行训练：仅有无人机、无人机-人类、以及无人机-人类-建筑。如图6所示，Pharos在所有场景(a)-(c)中都表现出快速且稳定的收敛。此外，Pharos在所有场景中都以最快的收敛速度达到了最高的奖励值，这表明基于MAPPO算法的Pharos在我们的问题约束下能更好地找到一组近似最优的无人机协同管理策略。

5.3.2. 碰撞避免与飞行进展
为评估Pharos的碰撞避免和飞行进展能力，我们基于一个包含10栋建筑、8个人类和10架无人机的预训练模型设计了两个测试用例，并进行了可视化分析，如图5(b)(c)所示。

交叉口的无人机空域协调。 此测试用例再现了图1中的场景，以验证系统在共享空域中的空域协调能力。实验结果在图5(b)的时间线(b)-1至(b)-3中呈现，概述了它们相遇的三个阶段：相遇前、安全避碰期间以及它们继续接近目的地的过程。尽管建筑 b1 作为 uav4 和 uav5 之间的直接障碍物，但无人机智能体能够根据预训练策略获得适当的专属空间，在其中安全运行并避免碰撞。此外，可视化轨迹证实无人机没有陷入死锁；在进展奖励的驱动下，它们在相遇后立即恢复向各自目的地的累积进展。

障碍物自适应绕行。 此测试侧重于无人机在高层建筑间飞行时的自主适应性。如图5(c)的时间线(c)-1至(c-2)所示，uav5 能够利用模型训练期间学习的空间协调策略，在实际决策中实时调整其路线，实现平滑且安全的避障。重要的是，飞行进展奖励可以引导无人机在绕过建筑后保持前进势头，防止任何悬停或停滞。此结果展示了系统在复杂障碍环境中的环境适应性和持续执行能力。

5.3.3. 人类恐惧影响
为评估不同算法下无人机运行对人类造成的心理影响，我们使用公式2计算人类因附近无人机而经历的恐惧值。我们使用无人机-人类对的平均恐惧值作为算法间心理恐惧影响的比较指标。公式2中的常数 d(u,h) 被定义为离散空间模型中的单位距离1，以确保无人机与人类之间的绝对安全，即不发生碰撞。因此，无人机-人类对的平均恐惧值范围为[0,2]，其中较小的平均恐惧值表示算法更人性化。对于Pharos算法，我们针对不同数量的无人机（10栋建筑，8个人类）使用集中式方法的预训练模型。在无人机并行执行期间，我们记录每个时间步的推理结果。相比之下，对于Ipopt求解器和A-star算法，我们在相同的仿真环境中，通过逐步求解和规划过程，同步收集每个时间步对应的人类恐惧值。

如表2所示，与A-star相比，Pharos平均将人类恐惧降低了52.72%。然而，我们观察到与Pharos相比，Ipopt表现出更低的人类恐惧。这是因为其缺乏长期规划（如第5.3.1节所述）。在实验中，当无人机遇到移动人类或高层建筑时，Ipopt确定最优奖励函数是让无人机保持悬停，而不是向目的地绕行。这是一种次优策略。虽然这似乎产生了较低的人类恐惧，但它常常导致大量无人机卡住而无法向前飞行。这种现象在图7的整体奖励趋势中得到进一步说明。

表2：人群恐惧度与空间利用率实验结果

*注：不同方法在200个推理步（100毫秒/步）中的平均人类恐惧(h.f.)和空间熵(s.e.)。

5.3.4. 空间利用率
为验证无人机协同管理系统Pharos的空间利用率，我们在本小节引入了空间熵的概念。空间熵是一种专用的度量指标，用于事后评估空域资源利用率，而不是Pharos主要算法的一部分。受广泛应用的信息熵（Liang et al., 2024; Liu et al., 2022; He et al., 2024）启发——信息熵表示系统的无序程度——我们将此概念扩展到空间熵，以量化无人机在空域内分布的均匀性。具体而言，较低的空间熵值表示无人机分布更集中（例如，全部聚集在热点航线上），这通常意味着空域资源利用不均且拥堵风险高。相反，较高的空间熵值表示无人机在可用空域内分布更广泛和均匀，象征着更高效和更彻底的空域资源利用。

为了计算空间熵的值，根据信息熵的原始定义（简式表达，ℋ = -∑𝒫 log 𝒫），由C. E. Shannon（Shannon, 1948）提出，我们将Pharos坐标系中单个无人机占用特定空间单元的事件类比为信息论中的随机事件。通过统计分析任务执行期间所有无人机对每个空间单元的占用频率，我们可以获得每个空间单元的占用概率分布。最终，得出代表空域内无人机分布总体特征的空间熵，计算公式如下：

其中 q 是空间 S 中的坐标 q(x,y,z)，p_u^t 表示无人机 u 在时间 t 的坐标，𝕀 是指示函数，当 p_u^t = q 时为1，否则为0。

我们继续将预训练的Pharos与Ipopt和A-star算法进行比较。三种方法在不同无人机数量下的空间熵实验结果见表2。Pharos的空间熵最高，与Ipopt和A-star相比分别增加了70.82%和2.03%。两种算法的空间熵差异显著。对于Ipopt，如前节所述，算法在面对障碍物时倾向于悬停，导致人类恐惧较低，因此熵值也较低，因为它不占用额外空间。相反，使用A-star的无人机累积地向目的地移动，不考虑其可能对人类造成的恐惧，因此空间熵相对较高。

5.3.5. 复杂度分析
我们确定计算成本主要产生在训练和推理阶段。训练阶段计算密集但属于一次性投入，可以通过预训练进行优化。多智能体协作学习的理论分析表明，此阶段的时间复杂度大致随智能体数量线性增加。我们实际进行了如图8所示的可扩展性测试，证明了Pharos模型训练在不同数量无人机下的稳定收敛。这也与其他领先的无人机协作研究（Huang et al., 2024; Yan et al., 2023a, b）中的数据规模一致。

在推理阶段，每个无人机智能体以并行方式执行，仅需运行轻量级策略网络进行前向计算，从而实现低延迟响应。实验表明，在当前动态环境下，系统可实现每个时间步约100毫秒的平均推理延迟（分别参见图8和表2中的注释），使其适用于动态演变的城市低空环境。

图8： 基于MAPPO的Pharos可扩展性测试：不同场景下每个智能体平均奖励的训练收敛性。

6. 结论与未来工作

我们开发了一个基于MAPPO算法的多无人机协同协调空域管理系统。通过碰撞避免、人类恐惧影响和空间利用率的全面测试，我们展示了Pharos的有效性、准确性和性能。我们未来的研究重点如下：(1) 无人机的跨区域协调：我们将研究划分广域空域并实现跨区域无人机协调，以提高系统效率和可扩展性。(2) 熵驱动的无人机按需协调：基于实验中提到的空间熵评估指标，我们将将其应用于城市场景中无人机的按需接入和按需协调。(3) 4D时空数据管理：我们将开发一个4D数据管理引擎，以处理城市低空复杂的3D空间和时间动态。