在风干扰条件下，用于无人机覆盖路径规划的混合能源-时间高效强化学习

《Journal of Web Engineering》：Hybrid Energy-Time Efficient Reinforcement Learning for UAV Coverage Path Planning under Wind Disturbance

　　

摘要：

在真实环境中，无人机的覆盖范围是一个具有挑战性的问题，因为机载能源限制以及空间变化的风速同时影响着飞行的运动性能、安全性以及推进成本。本文提出了ETA-PPO（即基于能源和时间意识的先验引导的路径规划，Energy and Time Aware Prior Guided PPO）算法，该算法将考虑风速因素的飞行执行与无人机编队级别的覆盖协调分开处理。在执行层面，ETA-PPO通过引入一个确定性的状态条件变分自编码器（VAE）动作先验以及一个有界的残差策略，来实现在风干扰动态条件下的闭环点对点飞行。在协调层面，Heuristic JointETA-PPO-H算法在底层执行器的基础上，负责分配目标任务、返回基地等宏观决策。实验在一个共享的3D城市模拟器中进行，模拟器中使用了基于计算流体动力学（CFD）计算得出的时变风场数据。在点对点导航任务中，ETA-PPO在所有评估的路径上实现了100%的成功率，并且在能源消耗和飞行时间方面与传统的基于Actor-Critic的基准方法保持了良好的平衡。同一执行器还完成了所有四个长航程的单无人机任务巡检，证明了从单个飞行段到连续覆盖执行的可靠过渡。在多目标、多无人机的案例研究中，Heuristic JointETA-PPO-H在所有测试的无人机编队和起飞配置中均实现了100%的覆盖率。因此，这些编队级别的结果可以作为确定性系统运行的有力证据。