面向高效多智能体协同的回报保持型通信遗忘

MUTE：面向高效多智能体协同的回报保持型通信遗忘

摘要

本文提出了一种名为 MUTE (Message Unlearning for Targeted Efficiency) 的新框架，旨在解决多智能体强化学习（MARL）中的高效通信问题。与以往通过优化信息论代理目标来减少通信的方法不同，MUTE 将通信减少视为一个价值引导的机器遗忘问题。该框架首先训练一个无通信约束的专家策略，然后通过一个消息价值估计器（MVE）来量化每条消息的反事实价值（CMV），并系统性地“遗忘”那些对团队联合回报贡献较低的消息。本文从理论上推导了因通信稀疏化导致的性能差距上界，保证了回报的受控退化。在多种复杂的多智能体环境（如 SMAC、Traffic Junction）中的实验表明，MUTE 能够在保持与最先进基线相当性能的同时，实现 80% 至 90% 的带宽缩减。

1. 引言

多智能体强化学习（MARL）在解决自动驾驶、星际争霸II微操等复杂协同问题中表现出色。集中训练与分散执行（CTDE）框架已成为标准范式，但在部分可观测环境下，分散执行常因信息不足而失效。显式通信成为解决此问题的关键，允许智能体交换观测、意图或经验等信息。

然而，现实世界中的带宽资源是有限的。现有方法主要通过优化信息瓶颈等辅助目标来减少通信，但这些方法往往优化的是统计显著性而非任务回报，可能导致保留了信息量大但对回报无益的消息。

本文提出 MUTE 框架，其核心思想是：

1. 问题重构：将通信减少视为一个回报优化问题，而非简单的成本权衡。
2. 反事实消息价值（CMV）：通过比较发送消息与屏蔽消息两种情况下的联合动作价值函数差异，来衡量消息的边际贡献。
3. 价值引导的遗忘：利用机器遗忘（Machine Unlearning）技术，在保持原始策略回报的前提下，逐步“遗忘”低价值的消息传输。

2. 相关工作

• 无通信方法：如 QMIX、MAPPO，依赖隐式协调，在部分可观测下表现受限。
• 无限制通信：如 TarMAC、MAIC，使用注意力机制选择信息，但忽略了带宽限制。
• 基于互信息的方法：如 NDQ、IMAC，通过最小化互信息压缩消息，但可能牺牲关键回报信息。
• 基于沙普利值的方法：如 SMS，计算消息的边际贡献，但计算复杂度高，需依赖近似。
• MUTE (本文)：采用“遗忘”范式，先训练无约束策略，再通过价值估计进行剪枝，平衡了效率与性能。

3. 问题定义

我们将任务建模为 Dec-POMDP，记为G = ⟨ N , S , A , P , r , Ω , O , γ , M ⟩ \mathcal{G}=\langle\mathcal{N},\mathcal{S},\mathcal{A},P,r,\Omega,O,\gamma,\mathcal{M}\rangleG=⟨N,S,A,P,r,Ω,O,γ,M⟩。

• 通信协议：采用广播协议。智能体i ii基于局部历史τ i \tau_iτi​生成消息m i = f ψ ( τ i ) m_i = f_\psi(\tau_i)mi​=fψ​(τi​)。
• 目标：学习一个稀疏通信策略π \boldsymbol{\pi}π，在最小化通信开销的同时，约束回报差距J ( π ∗ ) − J ( π ) ≤ ϵ J(\boldsymbol{\pi}^{*})-J(\boldsymbol{\pi})\leq\epsilonJ(π∗)−J(π)≤ϵ。

4. 方法

4.1 通信减少的回报保持视角

现有方法在训练时同时优化任务回报和通信成本，容易导致次优策略。MUTE 主张先训练一个全通信的专家策略，然后识别并移除冗余消息。

4.2 反事实消息价值（CMV）估计

CMV 定义为屏蔽某条消息前后联合动作价值函数的差值：
Δ Q i ( τ , m ) = Q tot ∗ ( τ , a ) − Q tot ∗ ( τ , a ~ ) \Delta Q_{i}(\boldsymbol{\tau},\mathbf{m})=Q_{\text{tot}}^{*}(\boldsymbol{\tau},\mathbf{a})-Q_{\text{tot}}^{*}(\boldsymbol{\tau},\tilde{\mathbf{a}})ΔQi​(τ,m)=Qtot∗​(τ,a)−Qtot∗​(τ,a~)
其中a ~ \tilde{\mathbf{a}}a~是在屏蔽消息m i m_imi​后重采样的反事实动作。

为了高效估计 CMV，我们设计了基于注意力机制的消息价值估计器（MVE），其损失函数为：
L MVE ( ϕ ) = 1 N ∑ i = 1 N ( V ϕ ( m ) i − y i ) 2 \mathcal{L}_{\text{MVE}}(\phi)=\frac{1}{N}\sum_{i=1}^{N}\left(V_{\phi}(\mathbf{m})_{i}-y_{i}\right)^{2}LMVE​(ϕ)=N1​i=1∑N​(Vϕ​(m)i​−yi​)2

4.3 通信遗忘

遗忘过程通过双重目标损失函数实现：

1. 稀疏性损失（L sparse \mathcal{L}_{\text{sparse}}Lsparse​）：对低价值消息（V ϕ ( m ) i ≤ λ V_\phi(\mathbf{m})_i \le \lambdaVϕ​(m)i​≤λ）施加 L1 正则化惩罚。
2. 锚定损失（L anchor \mathcal{L}_{\text{anchor}}Lanchor​）：防止策略崩塌，约束当前策略的 Q 值向原始专家策略Q ∗ Q^*Q∗对齐。

总损失函数为：
L ( θ , ψ ) = L sparse ( ψ ) + β L anchor ( θ , ψ ) \mathcal{L}(\theta,\psi)=\mathcal{L}_{\text{sparse}}(\psi)+\beta\mathcal{L}_{\text{anchor}}(\theta,\psi)L(θ,ψ)=Lsparse​(ψ)+βLanchor​(θ,ψ)

理论保证：论文推导了性能差距的上界（Theorem 4.2），证明在 MVE 估计误差和动作价值近似误差有界的情况下，遗忘过程导致的回报下降是可控的。

5. 实验

5.1 实验设置

• 环境：Hallway, StarCraft Multi-Agent Challenge (SMAC), Traffic Junction (TJ), SMAC-Communication, SMACv2。
• 基线：QMIX, MAPPO, TarMAC, MAIC, MASIA, IC3Net, SMS。
• 训练流程：MUTE 经历三个阶段：预训练（2M步）、MVE训练（0.5M步）、通信遗忘（1.5M步）。

5.2 实验结果

• 通信效率（RQ1）：MUTE 在所有基准测试中均实现了最低的通信开销。例如在 Hallway 环境中减少了 99% 的通信，在 MMM2 地图中通信率低于 5% 且保持了 94% 的胜率。
• 选择性（RQ2）：通过消息丢弃实验（Message Dropout），MUTE 在消息丢失率增加时表现出最强的鲁棒性（AUC 指标最高），证明其保留的消息确实是性能关键的。
• 消融实验（RQ3）：
  • 无锚定（w/o Anchoring）：移除锚定损失导致策略在遗忘阶段立即崩塌，胜率骤降。
  • 无 MVE（w/o MVE）：随机移除消息会导致性能显著下降，验证了价值引导的必要性。

6. 结论

MUTE 通过价值引导的遗忘机制，在保持近最优性能的同时显著降低了通信带宽。未来的工作将探索更高阶的消息交互估计。

附录与资源

• 代码仓库：https://anonymous.4open.science/r/mute-2540/
• 算法细节：完整算法流程见附录 B。
• 环境配置：
  • StarCraft II 版本：SC2.4.6.2.69232
  • 环境包括 Hallway, SMAC, TJ 等（详见附录 C）。
• 超参数：
  • 稀疏性阈值λ = 1.0 \lambda = 1.0λ=1.0
  • 锚定系数β = 10 \beta = 10β=10
  • MVE 学习率η = 0.0005 \eta = 0.0005η=0.0005