利用分层强化学习共同优化基站的部署和天线配置

《ACM Transactions on Knowledge Discovery from Data》：Jointly Optimizing Deployment and Antenna of Base Stations using Hierarchical Reinforcement Learning

协调部署多基站并优化天线配置对提升5G服务质量至关重要，但传统方法难以处理大规模场景。本文提出HMAPPO-RL算法，通过分层多智能体协同与UNet网络融合全局局部信息，实现基站部署与天线参数的联合优化，并采用表示学习模块提升状态价值评估精度。实验表明在百万级场景下，其覆盖率达91.66%，吞吐量4,983,537 bit/s，较基线算法分别提升3.62%和6.75%。

　　

摘要

多个基站（BS）的协同部署以及天线配置的调整在确保高质量通信服务方面发挥着关键作用，尤其是在大城市中密集部署5G基站的情况下。然而，传统的优化方法（如启发式算法和强化学习（RL）在处理涉及数百个基站协调的问题时面临挑战，因为这些方法在处理大规模场景的复杂性和规模方面存在局限性。为了解决这些挑战，本文提出了分层多智能体近端策略优化与表示学习相结合的方法（HMAPPO-RL）。通过采用分层结构，我们将优化问题有效地分解为两个子问题：基站部署和天线参数调整。与逐步优化基站位置和天线的传统方法不同，HMAPPO-RL通过一种巧妙的交互机制实现了这两个问题的联合优化，充分考虑了基站位置和天线之间的相互影响。为了解决由数百个基站带来的大规模问题，我们利用UNet网络的上采样和下采样机制来整合大规模状态信息中的全局和局部信息，从而提升性能。由于复杂的环境信息会给智能体在大规模场景中评估状态值带来很大困难，我们添加了一个表示学习模块来提高智能体状态值估计的准确性。使用精确的移动网络模拟器进行的实验证明了所提出的HMAPPO-RL的优越性，并与现有的最先进方法进行了比较分析。HMAPPO-RL的覆盖率为91.66%，平均吞吐量为4,983,537比特/秒。与MAPPO算法相比，其覆盖率和吞吐量分别提高了3.62%和6.75%。