基于合作多智能体深度强化学习的室内多小区可见光通信网络自适应功率控制

《IEEE Access》：Mobility- and Fairness-Aware Multi-Agent Deep Reinforcement Learning for Adaptive Power Control in Indoor Multi-Cell Visible Light Communication Networks

　　可见光通信（VLC）是一种有望实现高速室内无线连接的技术；然而，用户移动性、小区间干扰以及随时间变化的环境条件，使得静态功率分配策略在多小区部署中效率低下。本文提出了一种基于移动性和公平性感知的合作式多智能体深度强化学习框架，用于室内多小区VLC网络中的自适应功率控制。每个LED发射器被建模为一个独立的深度Q网络（DQN）智能体，该智能体根据包含关联用户数量、平均信干噪比（SINR）、平均小区间干扰、环境光致噪声、边界用户信息以及相邻LED的负载和功率的局部状态，通过离散功率增量调整其发射功率。智能体通过值分解进行合作训练，同时保持完全分散的执行方式。仿真环境包含显式的强度调制/直接检测物理层、随机用户移动性、关联用户间的小区带宽共享，以及针对位于重叠小区区域的用户的基于规则的重新分配机制。一个共享的多目标奖励函数平衡了平均每用户吞吐量、平均SINR、发射功率和Jain公平指数。所提出的框架被称为CI-DQN（合作增量深度Q网络），与表格型多智能体Q学习（MAQL）、两级独立DQN（IDQN-2L）、另外三种深度值基准（Double DQN、Dueling DDQN，以及两种合作架构VDN和QMIX）、固定低功率和高功率策略、功率匹配固定策略以及两种每步穷举搜索参考进行了评估。在保留的测试轨迹上的仿真结果表明，CI-DQN实现了平均每用户吞吐量11.88 Mbps，平均每LED发射功率为0.862 W，而对比方案为10.95 Mbps，1.50 W……