基于强化学习引导的正弦余弦算法的无人机集群动态山地地形协同路径规划

《Chaos, Solitons & Fractals》：Cooperative path planning for UAV swarms in dynamic mountainous terrain using a reinforcement learning-guided sine cosine algorithm

　　•强化学习引导正弦余弦搜索用于无人机。
•三种搜索算子平衡探索、过渡与精炼阶段。
•统一模型融合地形、移动威胁与集群分离约束。
•标准基准测试表现出良好的整体优化性能。
•六个山地场景验证了可行且低成本的集群轨迹。

引言

作为能源基础设施的关键组成部分，高压输电系统经常穿越崎岖山地地形以降低土地成本。然而，这种地理复杂性使得传统人工巡检既低效又危险[1]。与受地面约束的作业相比——如Liu等人通过虚拟样机分析飞机着陆、转弯和制动过程中跑道铺面响应所展示的，其动力学与地面接触条件强耦合——无人机巡检提供了更大的三维机动能力，但也引入了额外的地形净空、空域和避碰要求[2]。虽然无人机（UAV）在山地环境巡检中已展现出高效率，但单架无人机受限于有限的电池续航，难以胜任长距离、细粒度的任务[3]。因此，无人机集群技术作为一种变革性解决方案应运而生，利用协同和并行作业能力[4]。协同空中系统日益增长的重要性在更广泛的网络化和航空航天应用中也显而易见。Sun等人研究了空天地一体化网络中的比例公平感知任务调度，展示了在动态任务需求下协调异构空间、空中和地面资源的必要性[5]。Huo等人开发了多电帆多小行星探索的快速分析框架，进一步反映了从孤立平台向复杂航空航天任务中协同多智能体探索的转变[6]。尽管如此，在动态山地环境中部署集群仍面临严峻挑战。集群不仅要在高度受限的空域中穿越复杂地形，还必须主动规避鸟群和其他障碍物构成的动态威胁。此类环境中的路径规划核心困难在于生成最优轨迹，既要严格维持无人机间的安全距离以防止碰撞，又要最小化能耗以确保安全抵达目的地。

除运动规划本身外，可靠的集群运行依赖于环境和智能体间信息的及时获取与交换。Yao等人研究了频谱拥挤的车对基础设施通信环境中的车载雷达优化问题，强调了在相互干扰条件下协调感知与通信功能的必要性[7]。Yin等人进一步研究了非理想同步条件下集成感知与通信网络的联合波束成形和帧结构设计，揭示了感知与定位精度和通信性能之间的权衡关系[8]。这些研究表明，可靠的感知-通信集成是动态威胁感知和协同多智能体运行的重要系统级基础。在此信息基础上，路径规划算法需要进一步将环境和智能体间状态信息转化为安全且节能的轨迹。

经典路径规划方法主要包括图搜索方法、数学规划、基于采样的规划器和人工势场法[9]–[16]。图搜索和优化方法可以在已知环境中提供系统性或精确的解，而RRT类规划器能快速识别可行路线，人工势场法则提供反应式局部引导。然而，在大型动态三维环境中，由于重复规划、不规则轨迹、局部极小值陷阱以及耦合的无人机间运动协调机制有限，这些方法的性能往往恶化。因此，这些传统方法不足以应对高度受限山地空域中的动态无人机集群规划。

近期综述和比较研究为多智能体避碰建立了若干互补基线。Rezaee等人系统地将无人机避碰研究分类为障碍物检测与规避、避碰算法、无人机集群协调和路径优化，强调了局部反应式方法、全局规划方法和基于学习的机制的不同需求[17]。从感知角度出发，Xu等人强调仿生视觉模拟是下一代避碰自动化的有前景方向，突出了在开放场景应用中鲁棒、自适应和计算高效的感知-决策机制的潜力[18]。针对基于学习的多无人机避碰，Liang等人开发了一种端到端的PPO控制器，融合了CNN-LSTM网络和广义积分补偿器，并在多种仿真环境中评估了不同组件的贡献[19]。他们的结果表明，时序交互建模和补偿机制可以提高避碰效率、鲁棒性和控制精度。从可扩展的多智能体角度，Nayak等人提出了InforMARL，利用图神经网络聚合局部邻域信息以实现分散式导航和避碰。对比实验表明，与基线多智能体强化学习方法相比，其样本效率和性能均有提升，并能泛化到不同数量的智能体和障碍物[20]。最近，Khargharia等人按决策、协调、通信、学习、执行和安全保障维度对基于学习的无人机集群避碰进行了分类，并确定强化学习、联邦学习、神经启发学习和混合方法为主要新兴方向[21]。综合来看，这些研究表明反应式、基于优化和基于学习的机制在实时响应、信息和通信需求、可扩展性、计算负担、泛化性和显式安全保障之间涉及不同的权衡。与直接生成运动指令的端到端避碰策略不同，本研究将预测的动态威胁惩罚和成对无人机间分离代价纳入联合滚动规划目标中，使避碰与能耗、地形净空和轨迹质量共同优化。

元启发式算法为解决非线性和非凸三维路径规划问题提供了灵活的替代方案[22]、[23]。近期研究增强了种群初始化、变异和自适应搜索机制，以提高单无人机和多无人机应用的收敛性。例如，改进的沙猫优化已用于受限单无人机规划[24]，而多策略麻雀搜索、增强白鹰搜索和混合蚁群-蜜獾优化已应用于山地地形、空地协同和风场约束下的多无人机规划[25]–[27]。然而，这些方法通常依赖预定义的更新调度或固定策略选择规则，限制了其根据演化种群状态调整搜索行为的能力。

为克服预定义搜索调度的僵化性，近期研究日益将强化学习与元启发式优化相结合。在这些混合框架中，强化学习通常不直接生成几何路径，而是充当高层控制器，学习如何根据优化反馈选择搜索算子、调整算法参数或调节探索与开发之间的平衡。Seyyedabbasi引入了一种基于强化学习的元启发式算法，利用Q表信息在探索和开发之间切换搜索行为[28]。Yu和Luo开发了基于强化学习的多策略布谷鸟搜索算法用于受限三维无人机路径规划，其中强化学习动态选择互补搜索模式并调整策略切换参数[29]。Ni等人将Q学习融入多策略人工蜂群算法，根据历史种群搜索信息选择合适的更新策略[30]。最近，Wang等人将Q学习与多策略连续蚁群优化相结合用于多无人机路径规划，实现了由四种构造器选择策略和两种行走策略形成的八种组合的自适应选择[31]。

这些研究表明了从固定的、依赖迭代的搜索规则向反馈驱动的算子调度转变的明确趋势。然而，现有的强化学习混合元启发式方法主要在一般数值优化、无人地面车辆规划、单无人机路径规划或不考虑崎岖地形、移动威胁和无人机间安全约束耦合效应的多无人机环境中进行评估。此外，在候选解层面协调全局探索、过渡搜索和局部开发方面受到的关注有限。这一研究空白促使我们开发一种自适应强化学习引导的优化器用于动态无人机集群规划。与上述近期强化学习辅助元启发式方法[28]–[31]相比，RLMSCA中的学习组件专门设计为SCA框架内三种功能差异化搜索角色的在线调度器。它不直接生成连续的无人机控制变量或航点坐标。相反，连续候选解仍由基于种群的优化器生成和评估，而Q学习层根据迭代适应度反馈在全局探索、过渡搜索和局部精炼之间进行选择。此外，所提出的学习引导优化器嵌入一个耦合的滚动规划问题中，同时考虑崎岖地形、预测的移动威胁和成对无人机间分离，而非将避碰或个体无人机轨迹视为独立的子问题。

在此背景下，我们之前的工作[32]成功采用改进的算术优化算法（AOA）[33]解决了山地地形中单无人机的动态轨迹规划问题。然而，从单无人机路径规划向协同集群规划的转变从根本上改变了优化问题的数学结构。在本研究所采用的单步滚动规划框架中，单架无人机由三个决策变量控制，即速度、偏航角和俯仰角，而N架无人机的集群在每个规划步骤需要包含3N个变量的联合决策向量。同时，唯一的无人机间安全约束数量从单无人机情况下的零增加到每个同步路径节点处的NN?1/2个。因此，集群规划问题不等同于独立求解N个单无人机规划问题。相反，轨迹通过成对分离约束显式耦合，且随着集群规模增大，可行域变得越来越受限。这些维度和约束缩放效应显著增加了搜索难度，使优化景观更容易陷入局部最优。在这一以众多局部最优为特征的复杂优化景观中，AOA难以高效探索庞大的解空间。在此背景下，正弦余弦算法（SCA）[34]被选为基础优化器来解决无人机集群的动态路径规划问题。近年来，SCA已被验证为处理高维工程优化任务的高效技术。例如，Wei等人利用对立学习增强了该算法，成功展示了SCA变体在高维工程设计问题中的适用性[35]。类似地，Akay等人提出了多策略自适应差分SCA，进一步验证了基于SCA的方法在多机器人路径规划中的适用性[36]。SCA的核心优势在于利用正弦和余弦函数的数学性质来更新候选解。这种机制赋予算法在解空间中进行广域振荡搜索的能力。与AOA相比，SCA在无人机集群路径规划中能更有效地避免陷入局部最优，从而提高识别高质量可行路径的概率。

上述代表性多策略SCA变体通过引入对立学习、差分搜索和自适应机制改进了原始SCA[35]、[36]。然而，在此处考虑的代表性方法中，这些增强主要通过预定义组合、确定性调度或参数驱动自适应规则来组织。它们既没有明确地将新增算子区分为全局探索、过渡搜索和局部精炼的互补角色，也没有利用在线适应度反馈来协调不同种群成员的角色。这一局限性为更自适应的SCA架构留下了空间，其中异构搜索算子在功能上差异化并根据演化优化反馈被激活。

尽管取得了这些进展，标准SCA仍依赖由线性衰减参数控制的单一更新机制来平衡探索和开发。这种僵化的、预定义的演化逻辑通常不适用于高维路径规划的复杂景观，因为它无法根据候选解的实时演化状态调整更新策略。因此，算法容易停滞在局部最优中。为突破这一瓶颈，引入强化学习（RL）作为高层决策控制器提供了一种有前景的解决方案[37]。表格型强化机制可以从演化搜索过程中积累算子级奖励，并调整与不同种群位置相关的策略偏好。受这些研究空白的启发，本研究开发了一种基于强化学习的多策略正弦余弦算法（RLMSCA），用于动态山地环境中的协同无人机集群路径规划。所提出的框架将三种互补搜索算子与轻量级Q学习选择机制相结合。学习层不直接将物理环境编码为表格状态，而是为与不同种群位置相关的搜索算子积累适应度改进反馈。为与密切相关的强化学习辅助元启发式方法进行结构化比较，表1总结了每种代表性方法的基础优化器、学习控制组件、应用场景和主要区别。

如表1所示，强化学习在不同混合方法中发挥不同功能。RLSCSO使用Q表反馈在探索和开发之间进行二元切换，而RLMSCS协调两种对比搜索模式并同时调整切换参数。QMABC间接改变多个更新策略的选择概率，QMSR-ACOR在种群层面选择复合构造器-行走组合。QLESCA在底层优化器方面提供了最接近的对比，但它采用基于特征的状态来调节r1和r3的参数范围。相比之下，RLMSCA直接在三类完整的搜索算子中进行选择，这些算子被明确分配给全局探索、过渡搜索和局部细化，并作用于每个候选索引对应的表项。在规划层面，该机制嵌入在一个耦合的单步滚动框架中，该框架联合评估山地地形、预测的移动威胁、高度限制以及无人机之间的成对安全间隔。因此，RLMSCA的区别不仅在于将Q学习应用于SCA，还在于候选位置级算子激活、功能分化的搜索角色以及动态群体级规划约束的联合设计。本研究的创新性应被理解为搜索算子、学习机制和群体规划模型的耦合组织方式，而非个别变异或插值技术的孤立引入。主要创新体现在以下四个层面。
•算法层面的创新：RLMSCA将精英池t分布变异、高斯融合搜索和自适应邻域二次插值组织为三类互补角色，分别对应全局探索、过渡搜索和局部细化。Q学习机制根据候选个体的适应度反馈在线协调这些角色，取代了单一更新规则的统一应用或完全预定义的阶段转换调度。
•无人机规划层面的创新：动态规划任务被建模为整个无人机机群的耦合单步滚动优化问题。在每个同步规划步骤中，所有无人机的联合控制向量被同时优化，同时将能量消耗、预测动态威胁规避、地形碰撞、高度限制以及无人机之间的成对安全间隔纳入统一目标函数。该公式明确考虑了从单架无人机扩展到无人机机群时决策维度增加和成对安全约束所带来的影响。
•相对于近期强化学习辅助元启发式算法的创新：与端到端强化学习控制器不同，RLMSCA中的学习层不直接生成连续飞行指令或几何路径。与近期主要切换宽泛搜索模式、调整参数或选择算子组合的强化学习辅助元启发式算法相比，RLMSCA在动态约束的群体规划问题中，使用基于适应度反馈的算子值在候选位置级协调三类角色分化的搜索机制。
•相对于多策略SCA变体的创新：现有的多策略SCA变体通常通过预定义组合、确定性调度或参数驱动的自适应来引入额外算子。相比之下，RLMSCA根据搜索功能对新增算子进行区分，并使用在线学习的动作偏好来决定其激活。因此，其贡献在于反馈驱动的协调架构，而非仅仅聚合若干增强算子。

所提出的框架在CEC2017基准测试集以及基于真实地形数据构建的六个三维山地飞行场景中进行了评估。这些实验既检验了其通用优化能力，也检验了其在地形、移动障碍物和无人机间安全约束下耦合多无人机航迹生成中的适用性。本文其余部分按顺序组织。第2节建立多无人机航迹规划的空间与操作约束模型。第3节简要回顾标准SCA操作，随后第4节详细描述所设计的RLMSCA框架。第5节讨论利用CEC2017基准进行的数值评估。第6节探索该算法在复杂多智能体飞行测试中的实际性能。最后，第7节总结本研究的主要发现。

章节片段
动态无人机机群路径规划问题的建模
在崎岖山区部署无人机机群将路径规划从单轨迹优化转变为耦合的多无人机规划问题。强烈的地形变化减少了可通航空域，要求规划器在维持机群内安全间隔的同时，为单架无人机生成可行轨迹。本节建立无人机机群运动学模型，以及一个包含能量消耗、障碍物规避、高度限制的统一标量目标函数。

基本正弦余弦算法
SCA是一种基于群体的优化算法，利用周期性的正弦和余弦函数引导候选解在搜索空间中移动。其振荡行为同时支持探索和开发，使群体能够逐步逼近高质量解。

强化学习与多策略机制的集成：RLMSCA框架
引导无人机机群穿越布满动态威胁的崎岖山地地形是一项严峻的优化挑战。尽管标准SCA为求解全局优化问题提供了一种简单而有效的机制，但其固有的搜索逻辑往往缺乏应对此类高维、强约束环境的必要适应性。具体而言，标准SCA容易陷入局部最优停滞，并可能难以维持探索与开发之间的最优平衡。

基于CEC2017的实验与分析
为了评估RLMSCA在不同优化任务上的性能，基于CEC2017基准集以及与若干最先进的同行算法的比较实验被开展。

三维山地环境中的实验验证
为评估RLMSCA在复杂三维环境中的实际适用性，本节在基于真实DEM地形的六个具有不同动态威胁密度的测试场景中开展多无人机轨迹优化实验。实验评估了规划器的避碰能力以及无人机机群的协调飞行效率。

结论
本研究提出了用于动态山地环境中无人机机群协同路径规划的RLMSCA。建立了一个统一优化模型，同时考虑飞行效率、地形与障碍规避、高度约束以及无人机间安全。为增强标准SCA的搜索能力，RLMSCA集成了精英池t分布变异、高斯融合搜索、自适应邻域二次插值，以及基于Q学习的算子选择。

CRediT作者贡献声明
Wentao Wang：撰写初稿、可视化、验证、软件、资源、方法学、调查、资金获取、数据管理、概念化。Xiaoli Li：撰写与编辑、验证、监督、软件、项目管理、方法学、调查、正式分析、概念化。Jun Tian：撰写与编辑、验证、监督、资源、项目管理、调查、数据管理、概念化。

利益冲突声明
我们声明与可能不当影响我们工作的其他个人和组织不存在财务和个人关系，对于任何产品、服务和公司，不存在任何性质或类型的专业或其他个人利益，可能被解释为影响所提交稿件中呈现的立场或对其的评审。

致谢
本研究由中国国家留学基金管理委员会资助（资助号：202506200042）。

Wentao Wang|Xiaoli Li|Jun Tian