【通信】基于UCB的多智能体多臂老虎机算法降低 OBSS 干扰、提升系统吞吐量与公平性附Matlab代码
✅作者简介：热爱科研的Matlab仿真开发者，擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。
👇 关注我领取海量matlab电子书和数学建模资料
🍊个人信条：格物致知,完整Matlab代码获取及仿真咨询内容私信。
📖
🔥 内容介绍
一、多智能体通信系统中的挑战
- OBSS 干扰问题
：在无线通信环境中，重叠基本服务集（OBSS）干扰是一个常见且棘手的问题。当多个无线设备的覆盖区域相互重叠时，它们之间会产生干扰，导致信号质量下降、误码率增加。例如，在一个拥挤的办公区域或居民小区，多个无线路由器可能会工作在相同或相近的频段，相互干扰，影响用户的网络体验。这种干扰不仅会降低单个设备的通信性能，还会对整个通信系统的稳定性和效率产生负面影响。
- 系统吞吐量与公平性平衡
：通信系统需要在提升整体吞吐量的同时，保证各个用户或智能体之间的公平性。系统吞吐量反映了单位时间内成功传输的数据量，而公平性则确保每个智能体都能合理地获取通信资源，避免某些智能体占用过多资源，而其他智能体资源匮乏的情况。然而，在实际通信场景中，要同时实现高吞吐量和公平性是具有挑战性的，因为一些旨在提高吞吐量的策略可能会牺牲公平性，反之亦然。
二、多臂老虎机算法基础
- 基本概念
：多臂老虎机（Multi - Armed Bandit, MAB）算法模拟了一个玩家面对多个摇臂（每个摇臂对应一个选择）的赌博场景。每次拉动摇臂会得到一个随机奖励，玩家的目标是在有限次数的尝试内，通过合理选择摇臂，最大化累计奖励。在通信领域，每个摇臂可以看作是一种通信资源选择（如不同的信道、功率设置等），奖励则对应通信性能指标，如传输速率、成功传输概率等。
- 探索与利用困境
：多臂老虎机算法面临着探索与利用的困境。探索意味着尝试不同的摇臂，以发现可能带来更高奖励的选择；而利用则是选择当前已知奖励最高的摇臂，以获取即时收益。在通信场景中，探索新的通信资源可能会发现更好的传输方式，但在探索过程中可能会暂时降低性能；过度利用当前最优资源则可能错过潜在的更优选择。
三、UCB（上置信界）算法原理
四、基于 UCB 的多智能体多臂老虎机算法
- 多智能体扩展
：在多智能体通信系统中，每个智能体都面临自己的多臂老虎机问题，即如何选择通信资源以优化自身性能。基于 UCB 的多智能体多臂老虎机算法允许每个智能体独立地根据 UCB 策略选择通信资源。例如，每个智能体可以将不同的信道作为摇臂，根据自身的通信需求和环境情况，通过 UCB 算法选择信道。
- 降低 OBSS 干扰
：当多个智能体同时使用基于 UCB 的算法选择通信资源时，它们会根据自身对干扰的感知和通信性能的反馈，动态地调整资源选择。例如，如果某个信道受到 OBSS 干扰严重，智能体在尝试该信道时获得的奖励（如传输速率低、误码率高）会较低，根据 UCB 算法，该信道被选择的概率会逐渐降低，从而促使智能体选择其他干扰较小的信道，有效地降低了 OBSS 干扰。
- 提升系统吞吐量与公平性
：从系统层面看，每个智能体通过 UCB 算法选择资源，整体上能够更有效地利用通信资源，从而提升系统吞吐量。同时，由于每个智能体都基于相同的 UCB 策略进行资源选择，避免了某些智能体过度抢占资源的情况，在一定程度上保证了公平性。例如，当某个智能体发现一种资源（摇臂）能带来较高奖励（吞吐量）时，其他智能体也会逐渐尝试并利用该资源，而不是让单个智能体独占，从而实现了吞吐量与公平性的平衡。
📖
⛳️ 运行结果
📖
📣 部分代码
function [i,j,k] = val2indexes(x,a,b,c)
% We can know i,j,k of each states with this (e.g. state x)
% k = ceil(x/(size(actions_TxPower,2)*size(actions_CCA,2));
% j = ceil(x/(size(actions_channel,2));
% i = mod(x,size(actions_channel,2)+1); -> obtaining 0 means max(actions_channel)
i = mod(x,a);
if i == 0, i = a; end
y = mod(x,(a*b));
j = ceil(y/a);
if j == 0, j = b; end
k = ceil(x/(a*b));
if k > c, k = c; end
end
📖
🔗 参考文献
📖
🌿 往期回顾可以关注主页，点击搜索