基于高效深度强化学习的3D无人机部署方法，用于在无线服务可靠性约束下优化移动用户监控

《IEEE Open Journal of Vehicular Technology》：Efficient DRL-Based 3D UAV Deployment for Optimizing Mobile User Monitoring Under Wireless Service-Reliability Constraints

　　

摘要：

室内飞行网络能够在拥挤的室内环境中提供灵活的监控支持，但实际部署时必须同时考虑用户移动性、无人机能量限制、活动范围以及无人机与接入点之间的稳定通信。本文研究了在混合LiFi-WiFi室内飞行网络中，受能量和服务可靠性约束的三维无人机部署问题。优化目标是在满足能量、范围、速度和接入点连接要求等约束条件的前提下，最大化每架无人机能够监控的移动用户数量。为了解决这一序列决策问题，我们采用了基于覆盖范围的深度强化学习框架，其状态主要包括无人机位置、剩余能量以及当前覆盖范围。此外，本文还引入了一种基于粗略单元格级占用情况、密度中心及密度中心位移的聚合密度感知状态模型，以此在不需要精确用户定位的情况下量化移动性相关信息带来的优势。尽管无人机在连续的物理空间中运行，但该强化学习控制器仍从一组离散的局部三维运动选项中选择动作。这种离散化处理是由于室内无人机自身的计算资源有限，且需要快速做出本地定位决策。碰撞避免通过分配不重叠的子区域来实现，而范围限制和无线服务可行性则通过动作筛选和奖励惩罚机制来保障。所提出的策略与多种实际方案（随机选择、基于密度中心的选择、贪婪启发式算法、粒子群优化和遗传算法）以及基于有限网格整数线性规划的基准方法进行了比较。实验结果表明，与现有实际方案相比，所提出的深度强化学习方法在平均监控用户数量方面具有显著优势，同时仍能达到93.7%的...

显示更多