基于深度Q学习的无线供电通信网络中移动充电器路径规划

《ACM Transactions on Embedded Computing Systems》：Deep Q-Learning-Based Mobile Charger Path Planning in Wireless Powered Communication Networks

无线电力通信网络（WPCN）通过数据交换与能量传输支持物联网设备自主运行。本文提出基于强化学习的动态路径规划方法，改进深度Q学习模型平衡设备剩余能量与移动充电器距离，优化充电序列以最小化总移动距离并满足能量阈值。实验表明该方法在仿真与物理平台均优于经典调度算法及当前最先进的优化算法。

　　

摘要

无线供电通信网络（WPCN）是一种新范式，它使得低功耗无线设备能够交换数据包，并从电源接收稳定的能量传输，从而支持无需更换电池的自主和可持续网络运行。近年来，我们见证了WPCN在工业和消费物联网系统中的日益广泛应用，以支持基于时间触发和事件触发的监控应用。在本文中，我们提出了一种基于强化学习（RL）的按需路径规划框架，用于规划移动充电器（MC）的轨迹并安排无线设备的充电顺序，以维持网络运行。我们设计了一种改进的深度Q学习方法，通过平衡设备的剩余能量水平与设备到MC的距离来为无线设备充电。该方法在确保一组设备的剩余能量超过指定阈值的同时，最小化了MC的总行驶距离。来自基于Gazebo的高保真仿真和基于Turtlebot的物理测试平台的广泛实验结果表明，与经典调度方法（如“最近任务优先”和“最早截止日期优先”）、最先进的调度方法（扩展粒子群优化、增强型教学-学习优化算法以及时空充电调度优化）、以及基于学习的调度方法（如近端策略优化和优势演员-评论家算法）相比，我们的方法在相似的训练样本量下表现更优。